AV-Comparatives 5월 사전 방역 진단율 테스트 (2009)

AV-Comparatives의 사전 방역(시그니처 진단)을 통한 악성코드 진단율 테스트 결과를
공유합니다.

저는 보안 전문가가 아니며 해당 프로그램에 대해 전문적이고 기술적인 지식을 가지고
이 글을 작성하는 것이 아니므로, 이 글의 일부 내용에는 오류가 있을 수 있음을 밝힙니다.



▶ 관련글

- AV-Comparatives 2월 수동 검사 진단율 테스트 (2009)
- 바이러스 블러틴 4월 테스트 결과 (VB100 , RAP) - Winodws XP SP3
- 보안 제품의 성능 테스트에 대한 의견



1. 테스트 정보

AV-Comparatives에서 5월 25일에 사전 방역(시그니처 진단 방식)을 통한 보안 제품들의 악성코드
진단율 테스트 결과를 발표하였습니다. 지난 2월 수동 검사 이후 첫 번째 사전 방역 테스트입니다.

AV-Comaparatives의 테스트에 대한 개괄적인 설명은 위 링크의 2월달 수동 검사 테스트의를 참고하시
기 바랍니다. 여기서는 사전 방역 테스트에 대해 간략하게 설명하도록 하겠습니다.

AV-Comaparatives의 테스트는 수동 검사 및 사전 방역 검사 모두 시그니처를 이용한 진단 방식을 통해
진단율을 측정하게 됩니다. 쉽게 말해 HIPS 등의 행동 기반 사전 방역 진단은 이 테스트에서는 측정되지
않습니다. 따라서 일부 행동 기반 탐지 기능이 포함되어 있는 제품들은 원래의 진단율에 비해 낮은 값을
보이게 됩니다.

사전 방역 진단율 테스트의 방법은 특정한 시기에 업데이트를 멈추고 그 이후에 발견된 악성코드를
이용하여 테스트를 진행하게 됩니다. 테스트 환경은 각 보안 제품들의 최고 수준의 감시 설정으로 조정
후 수동 검사 기능으로 테스트가 진행되게 됩니다. 따라서 일반적인 기본 설정 값을 이용하는 것이 아니므로 수동 검사, 사전방역 테스트의 환경이 일반 사용자들이 실제 환경과는 다소 다를 수 있습니다.

위의 테스트 조건으로 유추할 수 있듯이 반드시 사전 방역 테스트라고 해서 휴리스틱 또는 제너릭 진단
값(Heur, gen 등이 붙어있는)이 아닌 정식 진단명으로(패턴 진단등으로 인한) 진단된 샘플도 진단율에
포함됨을 알 수 있습니다. 따라서 일부 보안 제품은 순수한 사전 방역 기능으로 진단된 것이 아닌 매우
협소하게 적용되는 Generic 진단, 패턴 진단으로 인한 결과가 포함되어 있을 수 있습니다.


이번 사전 방역 테스트는 2009년 2월 9일까지 보안 제품의 시그니처 업데이트를 마친 후 9일부터 16일
까지 일주일간 수집된 악성코드를 이용하여 사전 방역 진단을 테스트하였습니다. 2월달 수동 검사때와
차이점은 사용하는 샘플의 차이입니다.(수동 검사는 2월 9일 이전 샘플들로 테스트)

한가지 더 언급하자면 pdf 파일에서 AV-Caparatives 측에서 밝혔듯이 일부 클라우딩 기술을 이용하는
(현재 맥아피) 제품은 제품의 DB를 정지시켜놔도 테스트 시점에서 서버에서 정보를 받아오기 때문에 다른
제품과 달리 DB의 기준 시간이 달라질 수 있수 있습니다. 즉, 2월 9일이 아닌 테스트 시점에서 서버가 가진 정보를 바탕으로 진단되기에 진단율이 더 높을 수 있습니다.

또한, 진단율과 더불어 테스트 등급 부여 조건 중 하나인 오진율 정보는 2월달 수동 검사의 정보를 바탕
으로 기록된 것입니다. 이유는 테스트에 쓰인 악성코드 샘플이 전부 악성이기 때문인데, 수동 검사 테스
트처럼 정상적인 파일들이 첨부되어 테스트에 사용되지 않았습니다. 사전 방역에 사용된 악성코드 샘플
과 마찬가지로 일주일동안 새로 나온 정상적인 프로그램들을 구해 테스트에 사용하면 되기 때문에 이점
은 다소 아쉬운 부분이라 생각됩니다.

사용된 보안 제품들은 동일하나, Command Anti-malware만 이번 사전 방역 테스트에서 빠져있습니다.


출처 : http://av-comparatives.org/ (홈페이지)
         http://av-comparatives.org/images/stories/test/ondret/avc_report22.pdf (pdf 자료)

2. 테스트 결과

세부적인 진단율과 테스트 결과로 받은 등급은 아래의 그림을 참고하여 주시기 바랍니다.

                                               클릭하여 보시기 바랍니다.


진단율과 오진율을 고려하여 부여된 등급은 아래와 같습니다.

같은 등급을 가진 보안 제품은 진단율이 높은 제품부터 내림차순으로 기록되었습니다.

진단율 자체는 Avira가 가장 높았고 Gdata 등도 높았지만 2월달 테스트에서 기록된 오진율 기록에 의해
순위가 바뀌었습니다. 결과적으로 이번 사전 방역 테스트에서 안정적이면서 높은 진단율을 가진 제품은
Microsoft One care 제품입니다. 또한, 휴리스틱으로 유명한 Eset의 nod32도 최고 등급을 받았고 8버전
들어 시그니처 휴리스틱을 비롯한 사전 방역 기능을 강화한 카스퍼스키도 최고 등급을 받았습니다. 

보시면 아시겠지만 아무래도 행동기반 탐지기능이나 기타 시스템 침입 방지 기능의 진단이 측정되지 
못한 테스트이기 때문에 해당 기능들이 포함된 카스퍼스키, 노턴, 에프시큐어 등의 다소 떨어짐을 알
수 있습니다.



- 이상입니다.