PCSL Total Protection malware Test 7월달 결과 (2009)

PCSL 이라는 보안 커뮤니티에서 실시하는 악성코드 진단율 테스트입니다.

저는 보안 전문가가 아니며 해당 프로그램에 대해 전문적이고 기술적인 지식을 가지고
이 글을 작성하는 것이 아니므로, 이 글의 일부 내용에는 오류가 있을 수 있음을 밝힙니다.



▶ 출처 - 바제2 '알자알어'님

원 출처 - http://www.pcsecuritylabs.net/



PCSL은 PC Security Lab의 약자로 중국에 위치한 소규모 보안 연구 기관 또는 커뮤니티입니다.

여기서는 작년부터 각종 보안 제품의 진단율 테스트를 행하고 있는데 오늘 소개할 테스트는 올해의 5번째 테스트로 결과가 상당히 재미있습니다.

테스트 명칭은 Total Protection malware Test 이며 수동 검사와 실시간 탐지 검사를 병행해서 실시하고 있습니다.

실험 방법은 아래와 같습니다.

1. VMware에 윈도우 XP SP3 OS를 설치 : 이미지 생성 이후 각 보안 제품의 검사가 끝날 때마다 복구
2. 보안 제품 설치 : 검사 환경은 모든 감시 설정을 최고 수준으로 변경
3. 검사에 사용할 악성코드 복사
4. 수동 검사 실시 - 실시간 감시는 비활성화
5. 오진 여부를 참고할 1000여개의 정상 파일 수동 검사로 검사
5. 샘플 실시간 감시를 활성화 시킨 후 수동 검사에서 놓친 악성코드 실행시 차단 여부 확인

수동 검사(Static Detection)에서 진단한 악성코드 수와 실시간 감시(Dinamic Detection)에서 진단한 악성코드의 수를 종합하여 진단율을 측정합니다. 그리고 진단율과 오진 여부를 고려해서 최종 테스트 결과를 산출하게 됩니다. 

악성코드는 2009년 5월부터 6월까지 두달간 수집된 3132개가 사용됩니다. 악성코드의 숫자가 적은 이유는 PCSL이 규모가 작기 때문으로 보입니다. 덕분에 테스트 결과가 상당히 흥미롭습니다.

참고로 최종 테스트 결과 산출 방정식은 아래와 같습니다.
(수동 검사 진단 수 + 실시간 감시 진단 수)/실험에 쓰인악성코드의 총수*100 -Log(오진 수 +1)

로그값을 취하기 때문에 오진 하나당 약 0.3 정도의 점수가 깍입니다.

테스트의 세부 정보는 아래의 링크를 참고 바랍니다.

http://www.pcsecuritylabs.net/document/PC%20Security%20Labs%20Manual.pdf

(1) 테스트에 사용된 보안 제품

ArcaVir 2009 Internet Security               ArcaBit                       http://www.arcabit.com/ 
Avira Premium Security Suite 9             Avira                          http://www.avira.com/ 
BitDefender Total Security 2009            BitDefender                 http://www.bitdefender.com/ 
Dr.Web® Security Space                      Dr.Web                      http://www.drweb.com/ 
a-squared Anti-Malware 4.5                 Emsisoft                     http://www.emsisoft.com/ 
Twister Anti-TrojanVirus                      Filseclab                     http://www.filseclab.com/ 
Simple Antivirus v2.1                            Finport                       http://www.simple-avr.com.ua/ 
F-Secure Internet Security 2009           F-Secure                    http://www.f-secure.com/ 
G DATA Internet Security 2010             GDATA                       http://www.gdata.de/ 
IKARUS virus utilities T3                       IKARUS                       http://www.ikarussoftware.com/ 
Jiangmin Antivirus KV2009                     Jiangmin                      http://www.jiangmin.com/ 
Kaspersky Internet Security 2010          Kaspersky                    http://www.kaspersky.com/ 
Kingsoft Internet Security 2009             Kingsoft                       http://www.duba.net/ 
eScan Internet Security Suite               Micro World                  http://www.mwti.net/ 
Spy Emergency 2009                           NETGATE                     http://www.spy-emergency.com/ 
Panda Internet Security 2010                Panda                         http://www.pandasecurity.com/ 
Quick Heal Total Security 2009            Quick Heal                   http://www.quickheal.co.in/ 
Sophos Anti-Virus                                SOPHOS                    http://www.sophos.com/ 
VIPRE Antivirus+Antispyware                 Sunbelt                       http://www.sunbeltsoftware.com/
Online-Armor ++                                   Tall Emu                      http://www.tallemu.com/ 
Trend Micro Internet Security 2009        Trend Micro                  http://www.trendmicro.com.cn/ 
TrustPort PC Security 2009                   Trust Port                    http://www.trustport.com/ 
VBA32 Antivirus                               VBA32                        http://www.anti-virus.by/en/ 

(2) 테스트 결과

1. 진단율

2. 오진 수 및 최종 결과

결과적으로 진단율은 A-squared와 A-squared의 엔진을 사용하는 Online-Armor ++ 제품이 가장 높았지만 오진율로 인하여 최종 결과에서는 카스퍼스키가 1등을 하였습니다.

테스트 결과를 가만히 살펴보면 안티버 같은 제품처럼 시그니처 진단 기능만 존재하고 행동기반 진단 기능이 없는 제품도 Dinamic 테스트에서 진단하는 악성코드가 있습니다. 세부적인 정보가 없어서 개인적인 추측에 의한 의견입니다만, 이는 악성코드 실행시 악의적인 목적을 위해 생성한 악성코드 파일이 진단되면서 결과적으로 악의적인 행동을 차단했기에 일어난 결과라고 보입니다. 실제로도 그런 경우가 종종 발생하기 때문에 예상이 틀리지는 않을 것 같습니다.

Spy emergency 같은 제품은 홈페이지에서 광고하는 것과 달리 아직까지는 통합형(안티 바이러스+안티스파이웨어)제품이라고 하기에는 다소 무리가 있는 제품이라 생각하는데 역시 테스트 결과도 그리 좋지 않습니다.

의외인 것은 오진율로 악명 높은 이카루스와 이카루스 엔진을 사용하는 제품들이 테스트 결과에 상위권에 속해 있다는 것인데, 이는 테스트 샘플의 수가 적기 때문이 아닌가 생각됩니다.


보안 제품 선택이나 성능을 알아보기위한 참고 자료로 하기에는 다소 무리가 있는 테스트이지만 결과가 상당히 재미있어서 소개합니다. :)