AV-Comparatives 4월 안티-바이러스 수동 검사 진단율 테스트 (2011)

 AV-Comparatives에서 수동 검사를 통한 악성코드 진단율 테스트 결과를 발표하였습니다.

▶ 관련글

- AV-Comparatives 2월 수동 검사 진단율 테스트 (2009)
- AV-comparatives : Summary Report 2010 (종합 보고서)

▶ 출처 : http://www.av-comparatives.org/images/stories/test/ondret/avc_od_feb2011.pdf

---

오스트리아에 위치한 민간 보안 연구 단체인 AV-Comparatives 에서 2011년 첫 번째 메인 테스트 결과를 발표하였습니다. Av-Comparatives의 메인 테스트는 수동 검사 진단율 테스트와 사전 방역 진단율 테스트가 있으며, 전반기와 후반기 두 번에 걸쳐 진행됩니다.  

이번 테스트는 전반기 메인 테스트 중 수동 검사를 통한 진단율 테스트입니다. 수동 검사 진단율 테스트에 대한 세부적인 정보는 관련글의 2009년 2월 자료를 참고 바랍니다.

올해부터 Kingsoft, Norman 제품이 빠지고 Qihoo 360와 Webroot AntiVirus가 테스트에 참여하였습니다. AV-Comparatives는 다른 유명 테스트와 달리 참가비가 있는 유료 테스트인데, 빠진 제품들은 항상 최하위에 머물렀던 제품들이기에 비용을 지불하며 이미지를 깍을 필요는 없었던 것 같습니다. 이번 테스트에서도 클라우드 기능이 진단값에 포함되어 있습니다. 

1. 테스트 최종 결과

※  '*' 가 붙은 제품은 상대적으로 많은 오진으로 인해 등급이 떨어진 것을 의미합니다.

먼저 최초로 참여한 Qihoo와 Webroot는 상대적으로 낮은 순위에 포함된 것을 알 수 있습니다. 세부 정보에서 살펴보겠지만 Qihoo는 높은 진단율에도 매우 많은 오진으로 인해 순위가 떨어졌고, Webroot는 진단율은 낮고 오진율은 높은 실망스런 결과를 보여주었습니다.

비트디펜더 엔진의 오진율이 낮게 나왔으므로 Qihoo는 자체 엔진을 통한 오진이 문제였던 것으로 보입니다. Webroot는 소포스 엔진의 DB를 실시간으로 갖고 오는 것이 아닌 것 같으며, 자체 엔진(안티 스파이웨어)은 진단에 도움이 안되었던 것 같습니다.

Qihoo는 중국에서 점유율이 대단한 업체인데, Kingsoft와 마찬가지로 외국 테스트에서는 힘을 못쓰는 것 같습니다.


기존 제품들을 살펴보면, 이번 테스트에서는 놀랍게도 ESET 제품의 오진이 비교적 많아 순위가 떨어졌다는 것이 눈에 띕니다. 세부 자료를 보면 20개의 오진으로 인해 'Many FP's' 등급을 받았습니다. 샘플에 따라 영향을 받을 수 있겠습니다만, 외국에서 사전 진단 뿐만 아니라 안정성에서도 높은 평가를 받았던 제품이기에 이번 결과가 흥미로웠습니다.

오진이 많았던 제품은 AVAST, PANDA, TrendMicro 등이며, 특히 트렌드 마이크로 제품은 최악의 오진율을 보여주었습니다. AVAST 엔진을 사용하는 G-data도 AVAST와 함께 순위가 떨어졌습니다.

또 한가지 흥미로웠던 점은, 항상 최상급에 위치해있던 시만텍 제품이 진단율이 낮게 측정됨에 따라 2등급으로 떨어졌다는 사실입니다. 다운로드 인사이트와 네트워크 인사이트 등 클라우드 진단 기능이 다소 제한적으로 적용되기 때문에 수동 검사 테스트에서 진단율이 낮게 나온 것으로 보입니다. 누적 샘플 테스트인지라 실상 진단율 자체가 큰 차이가 나는  것은 아닙니다만, 상대적인 진단율에서 밀렸다는 점이 흥미롭습니다.

반대로 McAfee는 정말 오랜만에 최상등급에 위치하였습니다. 오진이 0이라는 기적적인 결과로 인해서 나타난 상황입니다. 한동안 여러 테스트의 결과나 좋지 못했는데, 이번 테스트에서 다소간 이미지를 만회할 수 있게된 것 같습니다.

AVIRA는 최상등급에 위치는 하였으나 PANDA와 비트디펜더 등에게 진단율에서 밀렸습니다. 설정상 일부 DB를 뺏기 때문인데, 개인적으로 AVIRA 제품은 약간의 오진을 감수하고 써야 효과가 크지 않을까 생각해봅니다.

마지막으로 오진이 가장 적으면서 높은 진단율을 보인 제품은 핀란드의 F-secure 제품입니다.

2. 테스트 세부 정보

2-1. 테스트 참여 제품 정보

•  avast! Free Antivirus 5.1.8892	•  McAfee AntiVirus Plus 14.5.130
•  AVG Anti-Virus 10.0.1204	•  Microsoft Security Essentials 2.0.657.0
•  AVIRA AntiVir Premium 10.0.0.611	•  Panda Antivirus Pro 10.00.00
•  BitDefender Anti-Virus Pro 14.0.24.337	•  PC Tools Spyware Doctor with Antivirus     8.0.0.624
•  eScan Anti-Virus 11.0.1139.855	•  Qihoo 360 Antivirus 1.1.0.1310
•  ESET NOD32 Antivirus 4.2.71.2	•  Sophos Anti-Virus 9.5.5
•  F-Secure Anti-Virus 10.51.106	•  Symantec Norton Anti-Virus 18.5.0.125
•  G DATA2 AntiVirus 21.1.2.2	•  Trend Micro Titanium AntiVirus+ 2011
•  K7 TotalSecurity 10.0.0051	•  Trustport Antivirus 11.0.0.4606
•  Kaspersky Anti-Virus 11.0.2.556	•  Webroot AntiVirus with Spy Sweeper 7.0.6.38

테스트에 임하는 기본 환경 설정은 보안 제품의 모든 진단 기능의 감시 및 민감도를 최고 강도로 설정합니다. 단, 일부 제품은 기본 설정 또는 특별한 제한을 두었습니다.

• AVIRA, Kaspersky, Symantec, TrustPort 는 최상위 휴리스틱 및 고급 진단 기능을 모두 사용
• F-secure와 Sophos는 기본 설정 (고급 휴리스틱 진단 사용 안함)
• Avira, AVG는 패커 진단을 테스트에서 제외
  (※ 이는 악성코드 진단 및 정상 파일 오진에서도 동일하게 적용되었습니다. 따라서 실제 사용 환경
      에서는 테스트결과 보다 진단율과 오진율이 더 높을 수 있습니다.)
• F-Secure, Kaspersky, McAfee, Panda, Sophos, Symantec, Trend Micro 등을 비롯한 클라우드 기술이
   포함된 제품은 클라우드 진단값을 테스트 결과에 포함시켰습니다. 따라서 인터넷 연결이 허용된 상
   태에서 일반 DB만을 제한시킨 상황에서 테스트가 이루어졌습니다.

유료 테스트라 안 해줄 것 같지만, 개인적으로 휴리스틱 또는 패커 진단 설정 등은 본문 외에 추가 자료를 통해 그 결과를 공개해주면 좋겠습니다.

2-2. 테스트 세부 결과 정보

(1) 악성코드 샘플

---

악성코드는 2011년 2월 10일까지 수집된 샘플로 테스트 시점(2.22)을 기준으로 약 6개월 이내의 기간 동안 수집된 샘플입니다. 작년 테스트보다 샘플 수가 적어졌는데, 약 40만개의 샘플이 이용되었습니다.

참고로 이번 테스트부터 악성코드 분류 항목 중 'Windows viruses, Macro viruses, scripts'등은 'otherare/Virus' 항목으로 통합되었습니다.

(2) 테스트 결과

---

아래는 종합 결과입니다.

아래는 진단율로 나열된 순위입니다.

앞서 언급했듯이 시만텍의 진단율 하락이 눈에 띕니다. 시만텍 DB를 이용하는 피시툴즈도 하위권에 머물러 있고, AVG가 의외로 하락폭이 컸습니다. 단일 엔진 상으로는 AVAST가 가장 진단율이 높았으며 그 뒤를 판다, 비트디펜더 등이 잇고 있습니다.


아래는 오진율 순위별 나열 목록입니다.

앞서 언급한 것처럼 맥아피가 충격적인 1위를 했습니다. MSE는 진단율은 다소 떨어져도 오진율이 항상 낮게 나타납니다. 사용하기도 쉽고, 안정성이 높은데다가 무료 제품이기 때문에 초보자에게 권할만한 제품이라고 봅니다.

2-3. 등급 기준

2010년과 달리 진단율 항목에 고정적인 기준값이 없습니다.

정확한 분류 기준은 모르겠지만, 진단율은 상대 평가를 통해 분류를 시도하는 것 같습니다. 

3. 추가 테스트 : 검사 속도 테스트

 

부가적으로 실시되는 검사 속도 테스트입니다. 숫자가 클 수록 속도가 빠릅니다.(초당 검사 데이타 크기)

AVAST와 판다가 상당히 빠른 속도를 보여줍니다. 판다는 확실히 2011 버전부터 퍼포먼스가 많이 개선된 것 같습니다. 단 해당 테스트는 캐쉬 기능의 사용 여부가 명확하지 않습니다. 일부 제품은 두 번째 검사부터 속도가 매우 빨라질 수 있습니다. 

---

이번 테스트는 오랜만에 많은 변화가 있었던 것 같습니다.


- 이상입니다.