▶ 보안 제품 테스트 정보/:: AV-Comparatives

AV-Comparatives 11월 사전 방역 진단율 테스트 (2009)

물여우 2009. 11. 30. 12:55
반응형
보안 제품의 진단율 테스트로 유명한 AV-Comparatives의 사전 진단율 테스트 결과가 발표되었습니다.

저는 보안 전문가가 아니며 해당 테스트에 대해 전문적이고 기술적인 지식을 가지고
이 글을 작성하는 것이 아니므로, 이 글의 일부 내용에는 오류가 있을 수 있음을 밝힙니다.




Av-Comparatives에서는 매년 두 번의 수동 검사 진단율 테스트와 사전 방역 진단율 테스트를 시행합니다. 이 외에도 많은 테스트를 진행하고 있으니 홈페이지를 참고바랍니다.

이번 테스트의 세부적인 내용이 담김 PDF 파일은 이
링크를 통해 직접 다운받을 수 있습니다.

이전 글에서 이미 설명을 했지만 간단하게 설명해보면 사전 방역 진단율 테스트는 특정 기간에 업데이트를 멈추고 그 이후로 일주일간 새로 유포되는 악성코드에 대한 진단율을 측정합니다. 여기에 이전 수동 검사 테스트에서 나타난 오진율을 추가해서 등급을 매기게 됩니다. 또한, 시그니처에 대한 수동 검사를 통해서 이루어진 진단만을 측정합니다. 따라서 행동기반탐지 기능등의 진단율을 포함한 사전방역 테스트는 다른 테스트를 참고하셔야 합니다.

개인적으로 행동기반 진단 기능의 미사용과 악성코드 샘플의 수집 시기가 제한적인 것이 불만이지만, 순수한 시그니처 의심 진단 기능의 진단율을 볼 수 있다는 점에서 좋은 것 같습니다.

각설하고 테스트의 최종 결과는 아래와 같습니다.

최종 테스트 결과 등급별 구분



진단율을 통한 순위



단일 엔진임에도 불구하고 안티버는 다중 엔진을 가진 G-data를 제치고 1위를 차지하였습니다. 그러나 이전 테스트에서 보인 상대적으로 많은 오진으로 인해 등급은 "Advanced"에 머물고 "Advanced+" 획득에 실패했습니다.

Av-comparatives에서는 상대적으로 카스퍼스키의 휴리스틱이 강세를 보이는 것 같습니다. 물론 카스퍼스키의 2009/2010 버전의 휴리스틱이 많이 민감해진 것도 사실입니다.

소포스의 경우 개인적으로 휴리스틱 진단이 좀 민감한 제품이라 생각되는데, 이상하게 각종 테스트에서는 진단율이 높지는 않은 것 같습니다. 이번 테스트에서도 진단율도 낮고, 오진율은 높아 최하위 등급을 받았습니다. 알약 2.0에 해당 제품이 들어간다는 공식적인 소식이 있는데, 휴리스틱 기능이 포함된 것일지 아닐지가 제품의 안정성에 상당히 영향을 많이 줄 것 같습니다.


아래는 세부 정보입니다.

1. 테스트 참가 제품

테스트에 참가된 제품은 8월당 수동 검사때 쓰인 제품과 동일합니다. 그 이후에 빌드업이나 최신 버전업이 이루어졌지만 테스트의 연속성을 위해 버전이나 빌드는 고정이 되었습니다.


테스트에 쓰이는 제품들은 모두 악성코드 진단에 대한 설정을 최고 강도로 설정한 상태에서 진행됩니다. 개인적으로 해당 제품의 최대 진단율에 대한 것도 흥미가 가지만, 일반 사용자들에게는 권장 설정된 기본 설정값을 통한 결과도 같이 제공하였으면 합니다.


2.  진단율 세부 결과

앞서 언급한 것처럼 업데이트가 고정된 상태에서 일주일 이내에 새로나온 샘플을 가지고 테스트가 진행되었습니다. 업데이트 시점은 8월 10일이며, 샘플 수집 기한은 8월 11일부터 17일까지 일주일 간입니다. 악성코드의 총 갯수는 23,237개입니다.

그림이 다소 커 클릭하여 원크기로 보시기 바랍니다.



아래는 오진율에 대한 8월 자료입니다.

오진율



이번 사전 방역 진단율 테스트에서는 맥아피의 아르테미스 기능은 쓰이지 않은 것 같습니다. 아르테미스 기능이나 판다의 클라우등 기능은 분명 의심진단으로 진단되는 경우도 있는데 AV-comparatives는 일종의 업데이트 기한 단축 기술로만 분류하는 것 같습니다.


아래는 최종 테스트 결과에 대한 등급 기준입니다.

등급 기준






- 이상입니다.
반응형