AV-Comparatives 2월 수동 검사 진단율 테스트 (2009)

AV-Comparatives의 수동 검사를 통한 악성코드 진단율 테스트 결과를 공유해 봅니다.

저는 보안 전문가가 아니며 해당 프로그램에 대해 전문적이고 기술적인 지식을 가지고
이 글을 작성하는 것이 아니므로, 이 글의 일부 내용에는 오류가 있을 수 있음을 밝힙니다.



▶ 관련 포스팅

- 보안 제품 성능 테스트

▶  관련 보안 제품 리뷰 모음

Kaspersky Internet Security 2009

McAfee Internet Security 2009

F-secure Internet Security 2009

Bitdefender Internet Security 2009

Av-comparatives에서 올해 처음 보안 제품들의 악성코드 진단율 테스트 결과를 발표하였습니다.

Av-comparatives는 오스트리아에 위치하고 독립된 민간 단체로서 보안 제품과 관련된 각종 테스트를
실시하고 있습니다. 진단율 외에도 여러 종류의 테스트를 진행하고 있습니다만 일반 사용자들이 가장
관심갖는 부분은 역시 보안 제품의 진단율에 관련된 테스트로 생각됩니다.

Av-Comparatives의 진단율 테스트는 수동 검사와 사전방역 검사 등 두 가지가 있습니다. 두 테스트를
각각 일년에 두 번씩 번갈아가며 총 4번의 테스트를 실시합니다.
 
특히, Av-Comparatives의 테스트에 관하여 알아두어야 할 점은 Av-Comparatives에서 실시하는 모든
테스트는 HIPS와 같은 행동기반탐지방식을 이용한 악성코드 차단을 테스트 결과에 반영하지 않는다는
점입니다. 쉽게 말해 시그니처 DB를 이용한 탐지율만을 테스트 결과에 사용합니다.  
물론, 노만이나 빗디 같은 경우처럼 행동기반방식의 휴리스틱 기능의 구현 방식에 따라 결과에 포함되
는 경우는 존재합니다. 그러나 카스퍼스키의 어플리케이션 필터링이나 노턴의 SONAR 같은 방식의
행동기반탐지 기능이나 시그니처 방식이 아닌 다른 사전방역 기능으로 인한 진단은 테스트 결과에서
제외됩니다.

이점이 AV-TEST에서 진행하는 테스트와 비교되는 점입니다. AV-test에서는 악성코드 탐지와 사전방역
기능의 테스트에서 행동기반방식들도 모두 사용하여 테스트 결과에 반영합니다.

그렇지만 여전히 일반사용자에게 있어 시그니처 방식을 이용한 진단이 가장 편리하고 중요한 만큼
아직까지 Av-Comparatives의 테스트 결과는 보안 제품 평가에 참고할만한 좋은 자료라 생각합니다.


오늘 소개할 테스트 결과는 보안 제품의 수동 검사 기능을 이용한 진단율 테스트입니다.

출처 : http://av-comparatives.org/ (홈페이지)
         http://av-comparatives.org/images/stories/test/ondret/avc_report21.pdf (테스트 결과 PDF 파일)


테스트에 참가한 제품은 총 17개 제품이고 제품 명칭과 버전은 아래와 같습니다.

몇몇 제품을 제외한 대부분의 제품이 최고 진단 강도 설정을 갖추고 테스트에 임했습니다.
맥아피 경우는 아르테미스 기능을 추가하여 테스트되었고 아르테미스의 유무에 따른 결과값 변경치도
공개하였습니다.


테스트 결과는 아래와 같습니다.

이번 테스트에서는 Bitdefender와 Avast의 엔진을 가진 G-Data가 진단율 면에서 가장 높은 결과를 갖고
있습니다. 단일 엔진에서는 작년에 이어 안티버가 가장 높은 진단율을 보이고 있습니다. 또한 아르테미
스를 탑재한 맥아피의 무시무시한 진단율 상승이 눈에 띕니다. 개인적으로는 아르테미스 기능으로 인한
진단율 상승은 그리 크지 않을 것이라 예상했었는데 최근의 테스트 결과를 보면 진단율 상승에 상당한
영향을 주는 듯 합니다.

진단율 못지 않게 보안 제품의 성능 평가 기준인 오진 측정값은 다음과 같습니다.

오진율 결과에서 카스퍼스키가 아슬아슬하게 'few' 그룹에 속하였습니다. 반대로 Gdata는 진단율이 테스트에 참가한 다른 제품들에 비해 다소 높은 편인 Avast와 Bitdefender의 오진이 중첩되면서 다소 높은
오진율을 보였고 안티버 다소 높은 오진율을 보이고 있음을 알 수 있습니다. 맥아피는 과거에 비해
오진이 증가한 것으로 나타났는데 이는 아르테미스 기능으로 인하여 발생한 것으로 예상됩니다.
(참고로 소포스 경우는 이번 테스트에서는 휴리스틱 기능이 비활성화된 상태로 테스트가 진행되었습니다.)
 

진단율과 오진율을 모두 종합하여 테스트 결과를 정리한 것은 다음과 같습니다.
 

작년 테스트와의 차이점이라면 진단율에 비해 오진율이 조금씩 증가한 Avira, Avast, Avg 등이(공교롭게도 모두 a로 시작하는 제품입니다.) 최상등급에서 떨어진 것과 맥아피의 급격한 상승이 아닐까 합니다. 

이번 테스트 결과가 국내의 보안 상황(유포되는 악성코드 종류 등)에 꼭 들어맞을 수는 없겠습니다만, 국내
보안 시장에 큰 영향력을 미치는 외국 제품들은 항상 좋은 결과값을 보여주는 것 같습니다.
특히, 2009 버전이 나오면서 성능과 퍼포먼스의 두 마리 토끼를 잡았다 평가받는 시만텍의 노턴 경우
국내외에서 실시하는 테스트에서 항상 좋은 결과를 받았는데 이에 대해 논란이 조금씩은 있습니다만
국내 보안 업체들이 가장 경계해야할 제품이 아닌가 합니다. 

- 이상입니다.