AV-Comparatives 8월 수동 검사 진단율 테스트 (2009)

보안 제품의 진단율 테스트로 유명한 AV-Comparatives의 수동 검사 진단율 테스트 결과를
공유합니다.

저는 보안 전문가가 아니며 해당 테스트에 대해 전문적이고 기술적인 지식을 가지고
이 글을 작성하는 것이 아니므로, 이 글의 일부 내용에는 오류가 있을 수 있음을 밝힙니다.



▶ 관련글

- AV-Comparatives 2월 수동 검사 진단율 테스트 (2009)
- AV-Comparatives 5월 사전 방역 진단율 테스트 (2009)
- 바이러스 블러틴 8월 테스트 결과 : Windows Vista SP2 Business Edition
- 보안 제품의 성능 테스트에 대한 의견

오스트리아의 보안 연구 단체인 AV-Comparative에서 새로운 수동 검사 진단율 테스트 결과를 내놓았습니다. 해당 테스트에 대한 자세한 내용은 위 링크의 2월달 결과를 참고 바랍니다.

출처 : http://av-comparatives.org/ (홈페이지)
         http://www.av-comparatives.org/images/stories/test/ondret/avc_report23 (테스트 결과 PDF 파일)
         http://www.av-comparatives.org/images/stories/test/fp/avc_report23_fp.pdf   (오진 테스트  정보)

테스트에 참가한 제품은 모두 16개의 제품으로 2010 버전 등 최근에 버전업된 제품들이 다수 참가하였습니다. 일반 회원들에게 세부 정보를 공개하지 않는 VB100과 달리 모든 정보가 공개되는 어느 정도 권위있는 진단율 테스트로서는 신규 버전들이 다수 참여한 최초의 결과물입니다.

▶ 테스트 참가 제품들 및 버전

▶ 테스트 세부 정보

기본적으로 휴리스틱을 비롯한 모든 감지 기능이 최고 강도로 조정되어 있으며(소포스와 에프시큐어는 제외) 수동 검사만을 통한 진단율을 측정하였습니다. 맥아피의 경우 클라우드 기술이 포함된 아르테미스 기능 때문에 유일하게 네트워크를 연결한 상태와 연결되지 않은 상태 두 가지 결과가 모두 포함되었습니다. 네트워크 연결 시 나타날 수 있는 다른 제품과의 형평성 문제는 테스트 당시의 조작으로 해결하였다고 합니다.


1. 진단율 세부 결과
 

진단율 정보

참고로 아르테미스 기능을 비활성화시킨 맥아피의 경우 최종 진단율은 92.6%라고 합니다.

아래 그래프는 진단하지 못한 샘플 수를 막대그래프로 표현한 것입니다.

결과적으로 어베스트와 비트디펜더의 듀얼 엔진을 갖고있는 GDATA가 가장 높은 진단율을 보여주었으며, 단일 엔진으로는 역시 AVIRA의 안티버가 높은 진단율을 보였습니다. 최근들어 카스퍼스키는 여러 테스트에서 시그니처 진단율이 다소 떨어지는 경향을 보이는 것 같습니다. HIPS 기능과 샌드박스 같은 기능들에 중점을 두어서인지 행동기반탐지 기능이 포함된 테스트와 시그니처 진단만을 테스트할 때 차이가 다소 큰 것 같습니다.

에프시큐어의 경우 비트디펜더의 엔진을 차용한 결과를 톡톡히 누리고 있는 것으로 보입니다. 비트엔진의 휴리스틱이 포함되지 않고서 자신의 히드라 엔진과 비트의 정식 진단 DB만으로 상당히 좋은 결과를 보여주고 있습니다.

맥아피도 좋은 결과를 보여주었는데 AV-Comparative 테스트에서는 다른 테스트에 비해 상당히 높은 진단율을 보이는 것 같습니다.


최종 진단율만 모은 결과는 아래와 같습니다.

2. 오진율 결과
AV-Comparative 테스트의 진단율과 더불어 중요시되는 요소인 오진 테스트에 대한 결과는 아래와 같습니다. 세부적인 내용은 위 링크의 오진 테스트 세부 정보 링크를 참고하시기 바랍니다.

매우 의외의 결과물이라 생각하는데 비트디펜더나 어베스트의 오진율이 상당한 수준으로 낮아졌습니다. 물론 국내에서 제작되거나 일반 프로그래머들이 사적으로 만든 제품들이 테스트된 것은 아니라서 국내 상황에 적용하기는 어렵지만 이전 테스트에서 안티버보다 높은 오진율을 보였던 것을 생각해보면 확실한 개선이 있었던 것으로 보입니다. 

그러나 엔진 버전에 큰 변화가 없는 어베스트도 이전 테스트에서 비트디펜더와 비슷한 오진율을 보였는데 이번 테스트에서 오진율이 상당히 준 것으로 봐서는 테스트에 사용된 정상 프로그램들의 문제로 보이기도 합니다.
 
그리고 Escan 제품의 오진 진단명을 살펴보면 비트디펜더와 동일한 진단명을 보입니다. 지난 테스트의 세부 정보를 보니 역시 마찬가지인데 제가 알기로 Escan 제품은 자체 엔진을 가진 것으로 아는데 어떻게 비트디펜더와 완전히 동일한 진단명을 갖게 된 것인지 의문입니다. 자동화 기능으로 따라한 것은 아닌것 같고 비트디펜더 엔진을 차용하여 사용하는 것은 아닌가합니다. 전체 진단율은 비트디펜더와 약간 차이가나는데 이부분은 휴릭스틱 등으로 인한 차이로 보입니다만 이에 대한 세부적인 내용을 찾을 수가 없어서 개인적으로 궁금합니다.

또, 앞서 진단율 부분에서 언급한 카스퍼스키의 경우 이전과 달리 시그니처에 대한 오진율이 점차 줄어드는 것 같습니다. 카스퍼스키는 국제적으로 유명한 제품치고 오진율이 많았던 제품인데 8버전부터 시그니처 진단의 상승보다는 아니라 안정적인 진단에 좀 더 주력하고자 하는 것은 아닌가 합니다. 카스퍼스키는 Application Control이라는 좋은 HIPS 기능이 있기에 그런 정책을 펴는 것이 아닐까 하는 개인적인 예상을 해봅니다.

맥아피의 경우 아르테미스가 없을 때에는 26개의 샘플을 오진하였다고 합니다. 아르테미스의 의심진단이 다소 오진율이 높다는 것에 대한 근거가 될 듯 합니다. 아르테미스가 없어도 오진율이 상당합니다. 

대부분의 오진은 휴리스틱 진단으로 인해서 생겨난 것이지만 킹소프트나 트러스트포트, 노만 등은 정식진단으로 인한 오진 비율이 높아 진단 체계와 DB 패턴에 대한 개선이 필요할 듯 합니다.


3. 최종 테스트 종합 결과 랭킹

개인적으로 안타깝게도 이번에도 안티버는 오진율로 인해서 Advanced 등급을 받게되었습니다. Gen진단으로 인해서 진단율 상승을 이루었고 점차 오진율도 낮추는 가는 중이기에 앞으로의 테스트를 기대해 봅니다.

그리고 Advanced+를 받은 제품이 무려 7제품이나 되는데 그 안에 Escan 제품이 있다는 것이 역시 의외입니다. 오진이 적어서 생겨난 결과인데 앞서 언급했지만 Escan 같은 제품의 오진율에는 다소 의구심이 듭니다.



4. 추가 테스트 - 검사 속도

아래는 이번 테스트(오진 검사시)에서 측정된 검사 속도로 그래프가 높을 수록 빠른 속도를 보인 겁니다. 초당 검사 파일 용량을 측정한 것인데 매우 의외의 결과로 어베스트가 1위를 차지하였습니다. 같은 4.8버전이지만 빌드가 상당히 낮을 때 사용했었는데 당시에는 기본적으로 검사 속도도 매우 느렸고 압축 파일 해제에도 상당히 버벅거려서 어베스트도 검사 속도가 매우 느린 제품으로 생각하고 있는데 이런 결과도 나올 수 있는 것 같습니다.

개인적으로는 정상 샘플에 실행압축이나 압축 파일이 없었기에 가능한 결과라고 생각합니다.

참고로 XP SP3에 듀얼코어 E8300 2GB 램 SATA2 하드디스크에서 시도한 것이라고 합니다. CPU가 AMD라는 것만 빼면 제 PC 사양과 비슷해서 개인적으로는 상당히 관심이 갑니다.

의외인 것은 GDATA의 검사 속도입니다. 듀얼 엔진이라서 기본적으로 검사 속도가 느려야 하는게 정상인데 비트디펜더보다도 빠른 속도를 보여주고 있습니다. 비트디펜더 최신 버전과 엔진 버전의 차이도 있겠지만 엔진 모듈에 파일을 넘겨주고 처리하는 모듈의 성능이 좋다는 것을 보여주는 것 같습니다.

비트디펜더 2010의 사용기들을 보면 이전 버전보다 더 무거워졌다는 의견들이 많은데 몸무게를 좀 많이 줄여주었으면 하는 바랩입니다.


이상으로 AV-Comparatives의 8월 수동 검사 테스트 결과에 대한 소개를 마칩니다.