AV-Comparatives 6월 안티-바이러스 사전 방역 진단율 테스트 (2010)

AV-Comparatives의 올해 첫 시그니처 진단을 이용한 사전 방역 진단율에 대한 테스트 결과가 발표되었습니다.

▶ 관련글

- AV-Comparatives 2월 안티-바이러스 수동 검사 진단율 테스트 (2010)
- AV-Comparatives 2월 수동 검사 진단율 테스트 (2009)
- AV-Comparatives 5월 사전 방역 진단율 테스트 (2009)

▶ 출처 : AV-Compatives May 2010 Test Report (테스트 리포트)

---

오스트리아에 위치한 민간 보안 연구 단체인 AV-Comparatives 에서 2010년 두 번째 메인 테스트 결과를 발표하였습니다. Av-Comparatives의 메인 테스트는 수동 검사 진단율 테스트와 사전 방역 진단율 테스트가 있으며, 전반기와 후반기 두 번에 걸쳐 진행됩니다.  

이번 테스트는 전반기 메인 테스트 중 사전 방역 진단율 테스트입니다. 테스트에 참여한 제품에 대한 정보 및 오진율에 대한 것은 2010년 2월 자료를 참고 바랍니다. 또한 사전 방역 진단율 테스트에 대한 세부적인 정보는 관련글의 2009년 5월 자료를 참고 바랍니다.

※ 원래 5월에 발표될 테스트였으나 일정이 밀려 6월에 발표되었습니다. 그래서 테스트 자료에는 5월 테스트로 나오지만, 본 포스팅에서는 발표 일시를 기준으로  6월 테스트로 제목을 작성하였습니다.

1. 테스트 최종 결과

최종 결과 - 등급별

※  '*' 가 붙은 제품은 상대적으로 많은 오진으로 인해 등급이 떨어진 것을 의미합니다.


먼저 TrustPort 제품의 높은 사전 진단율과 낮은 오진율이 눈에 들어옵니다. 역시 AVG와 비트디펜더의 듀얼 엔진 채용 덕분에 뛰어난 성능을 보여주고 있는 것 같습니다. 해당 제품을 살펴보지 않아서 휴리스틱 엔진도 같이 라이센싱 되었는지는 모르겠습니다. 제품 자체의 완성도 수준은 얼마인지 모르겠으나, 낮은 오진율에 높은 진단율을 가진 제품으로서 G-data에 이은 멀티 엔진 제품으로서는 상당히 매력있는 제품으로 보입니다.

※ 물론, 오진율에 대한 부분은 국내에서 제작된 정상 프로그램들이 샘플에 포함 안 된 외국 테스트라는 점을 참고해야합니다.

새롭게 테스트에 추가된 제품들의 성적은 그리 좋지 않은데, 대부분 진단율이 낮거나 아니면 오진율이 높아 등급이 떨어지 제품들이 많습니다. 다만 Panda의 경우 오진율은 상당히 높지만 TrustPort와 함께 매우 뛰어난 사전 진단율(63%)을 보여주었습니다. 개인적으로 리뷰할 때에는 오진율이 그리 높은 제품은 아니었는데, 개인적으로 테스트한 결과와 참고했던 자료에 비해 꽤나 높게 나왔습니다.

안티버의 경우 등급은 "Advanced +"지만 실제 사전 진단율은 53%로 그리 높은 편은 아닙니다. 이유는 이전 테스트에서 밝혔듯이 패커 진단을 테스트에서 제외하였기 때문입니다. 오진율을 낮추기 위한 수법이긴 한데, 역으로 진단율이 감소하게되니 단일 엔진으로 높은 진단율을 보인다는 안티버만의 장점이 사라지는 것은 아닌가 생각됩니다.

2. 테스트 세부 정보

(1) 테스트 참여 제품 정보

---

클라우드 기술을 지닌 제품만 제외하고 지난 2월 자료와 동일합니다.

 

• avast! Free Antivirus 5.0.396              • AVG Anti-Virus 9.0.733
• AVIRA AntiVir Premium 9.0.733            • BitDefender Antivirus 13.0.1347 (2010)
• eScan Anti-Virus 10.0.1058.644          • ESET NOD32 Antivirus 4.0.474.0
• F-Secure Anti-Virus 10.12.108 (2010)   • G DATA AntiVirus 20.2.4.1 (2010)
• K7 TotalSecurity 10.0.0025                 • Kaspersky Anti-Virus 9.0.0.736 (a,b)
• Kingsoft AntiVirus 2010.2.10.1             • McAfee AntiVirus Plus 14.0.306 (2010)
• Microsoft Security Essentials 1.0.1611.0
• Norman Antivirus & Anti-Spyware 7.30  • Panda Antivirus Pro 9.01.00 (2010)  
• PC Tools Spyware Doctor with AV 7.0.0.514
• Sophos Anti-Virus 9.0.3 
• Symantec Norton Anti-Virus 17.5.0.127  (2010)
• Trend Micro AntiVirus plus AntiSpyware 17.50.1366.0 (2010)
• Trustport Antivirus 5.0.0.4087 (2010)

테스트에 임하는 기본 환경 설정은 보안 제품의 모든 진단 기능의 감시 및 민감도를 최고 강도로 설정합니다. 단, 일부 제품은 기본 설정 또는 특별한 제한을 두었습니다.

• 에프시큐어, 소포스는 기본 설정 (고급 휴리스틱 진단 사용 안함)
• AVG, 안티버의 경우 패커 진단을 테스트에서 제외하였습니다. 이는 악성코드 진단 및 정상
  파일 오진에서도 마찬가지로 적용되었습니다. 따라서 실제 사용 환경에서는 테스트 결과 보
  다 진단율과 오진율이 더 높을 수 있습니다.
• 2월 수동 검사에서는 맥아피와 판다, 트렌드 마이크로는 클라우디 기술을 사용하여 진단값을 측정
  하였으나, 이번 테스트에서는 해당 기술을 제외하고 진단율을 측정하였습니다.

동일한 시점에 업데이트를 종료하고, 종료 시점 이후에 발생한 악성코드를 테스트에 사용하기 때문에 클라우드 기술을 사용하면 테스트에 문제가 있어 해당 기술을 테스테에서는 제외한 것 같습니다.


(2) 테스트 결과 세부 정보

---

테스트는 2월 10일까지 보안 제품의 DB 및 모듈 업데이트를 완료시킨 후, 2월 11일부터 18일까지 수집된 새로운 악성코드들을 가지고 이루어졌습니다.

▶ 아래는 진단율 세부결과 입니다.

진단 세부 정보

▶ 아래는 진단율을 순위별로 나열한 자료입니다.

최종 결과 - 순위별

▶ 아래는 오진율 측정입니다. 2월 자료와 동일하니 참고 바랍니다.

---

올해 첫 AV-comparatives의 사전 방역 진단율 테스트 결과를 살펴봤습니다.

AV-Comapratives는 모든 진단 성능을 최고 강도 설정에서 측정하기 때문에, 설치시 옵션, 또는 각 업체별로 제공하는 최적화 옵션 등이 주로 사용되는 실제 사용자 환경과는 다소 차이가 있습니다. 그렇지만 기본 설정 상태로 진행되는 VB100이나 기타 다른 테스트들과 달리 보안 제품이 가진 성능의 최대값(시그니처에 한해서)을 볼 수 있다는 점이 매력입니다.

그런데 에프시큐어나, 소포스 제품의 경우 기본 설정 상태로 테스트에 임하며, AVIRA, AVG 같은 제품들도 자신들의 진단값 중 특정 진단값(warnings of packers)을 제외하고 있습니다. 에프시큐어나 소포스의 경우 고급 휴리스틱 옵션 활성화 여부에 따라 오진/진단율의 변화폭이 너무 크다는 것이 큰 이유라고 합니다. 그런데 안티버처럼 휴리스틱 설정 등 다른 옵션은 최대값으로 설정하면서 패커 진단같은 특정 진단값은 제외한다는게 다소 의아한 부분입니다. 안티버의 패커 진단 영역은 상당히 넓은데, 정확하게 어떤 진단명이 제외되는 지는 알 수 없지만, 진단율과 오진율에 영향을 미치는 요인임에는 분명해 보입니다. 

AV-Comparatives의 과거 테스트들을 고려해보면 안티버의 경우 높은 진단율을 가짐에도 오진이 많아 최종 등급이 한 단계 내려가는 경우가 많았습니다. 그런데 패커 진단 부분을 제외한 테스트에서는 오진이 상당히 줄어들어 비교적 상위권인 진단율로 인해 최고 등급을 차지하게 됩니다.  보안 제품에 대해서 다른 요구보다도 진단의 안정성을원하는 목소리가 다소 큰 것을 고려해서 옵션을 조정한 것이 아닌가 하는 생각이 듭니다.

그러나 개인용 제품의 경우 패커(또는 암호화 진단)의 경우 설치시 기본 제공되는 옵션에서도 진단되는 부분이기 때문에, 이런 진단값들을 제외하는 것은 결과적으로는 테스트 환경과 실제 사용자 환경의 차이를 너무 벌리게 하는 하는 요인 같습니다.

이런 테스트들을 참고하는 이유가 테스트 결과를 자신의 환경에 대입시켜보면서 어떤 제품이 더 뛰어난지, 어떤 제품이 더 안정적인지를 살펴보기 위함인데 제품별로 서로 다른 설정을 가지고 테스트에 임하면 결과에 대한 객관성이 모호해진다고 봅니다. 물론, 점점 복잡해지는 보안 제품의 특성상 일관된 기준을 적용하는 것이 반대로 차별적인 요소가 될 수도 있습니다.

그렇지만 지금도 클라우드 관련 기술이 있는 제품의 경우 추가적인 정보를 제공하는 것처럼 테스트 자체는 기존의 기준대로 진행하되, 제품별로 설정값에 따른 결과 변화를 따로 표시하는 것이 테스트 결과를 보는 입장에서는 더 객관적이고 일관된 정보를 얻을 수 있는 방법이 아닐까 합니다.


- 이상입니다.