AV-Comparatives 11월 안티-바이러스 사전 방역 진단율 테스트 (2011)

AV-Comparatives에서 수동 검사를 통한 악성코드 사전 진단율 테스트 결과를 발표했습니다.

▶ 관련글

- AV-Comparatives 5월 사전 방역 진단율 테스트 (2009)

- 2011/05/26 - AV-Comparatives 5월 안티-바이러스 사전 방역 진단율 테스트 (2011)

▶ 출처 : http://www.av-comparatives.org

---

오스트리아에 위치한 민간 보안 연구 단체인 AV-Comparatives 에서 2011년 네 번째 메인 테스트 결과를 발표하였습니다. Av-Comparatives의 메인 테스트는 수동 검사 진단율 테스트와 사전 방역 진단율 테스트가 있으며, 전반기와 후반기 두 번에 걸쳐 진행됩니다.

이번 테스트는 후반기 마지막 테스트로 사전 방역 진단율 테스트입니다. 테스트에 참여한 제품에 대한 정보 및 오진율에 대한 것은 2011년 8월 자료를 참고 바랍니다. 또한 사전 방역 진단율 테스트에 대한 세부적인 정보는 관련글의 2009년 5월 자료를 참고 바랍니다. 

시그니처 진단을 통한 사전 방역 테스트이기에, 행동 기반 진단 기능과 클라우드 기술을 이용한 진단 기능은 결과에서 제외되었습니다. 즉, 순수한 시그니처를 이용한 진단으로 악성코드를 DB에 추가되기 전에 얼마나 진단할 수 있느냐를 측정하게 됩니다.

그리고 AVG, K7, McAfee, PC Tools, Sophos, Symantec, Trend Micro, Webroot 등 많은 제품들이 사전 방역 테스트에서는 결과를 공개하지 않았습니다. 개인적으로 누적 샘플 진단율보다는 사전 진단율을 중요하게 보는데 상당히 아쉬운 부분입니다.

1. 테스트 최종 결과

※  '*' 가 붙은 제품은 상대적으로 많은 오진으로 인해 등급이 떨어진 것을 의미합니다.

이번 테스트에서는 Qihoo,와 G-DATA의 진단율이 가장 높았으나, Qihoo는 오진으로 인하여 등급이 한 단계 떨어졌습니다. 그 뒤로는 AVIRA, ESET, 카스퍼스키 등이 좋은 결과를 받았습니다.

Qihoo와 마찬가지로 Trustport와 Escan 등 은 오진으로 인하여 순위가 하락되었습니다. 비교적 높은 수준의 사전 진단율을 보여주던 판다의 진단율 하락과 비트디펜더 엔진을 사용하는 Qihoo의 진단율 상승이 눈에 띕니다. 물론 Qihoo는 오진이 많은 편이라 다소 의미는 떨어지지만 상당한 발전해 보인 것은 분명해 보입니다.

이전 테스트에서 오진으로 인해 등급이 떨어졌던 ESET의 복귀와, 오진은 줄였으나 진단율도 줄어버려 결국 최상위 등급을 받지 못한 판다의 경우도 재밌는 점입니다.

오진을 포함한 결과, G-data와 AVIRA, ESET이 가장 높은 등급을 차지하였습니다.

2. 테스트 세부 정보

2-1. 테스트 참여 제품 정보

 

•  avast! Free Antivirus 6.0	•  G DATA AntiVirus 2012
•  AVIRA AntiVir Personal 10.2	•  Kaspersky Anti-Virus 2012
•  BitDefender Anti-Virus Plus 2012	•  Microsoft Security Essentials 2.1
•  eScan Anti-Virus 11.0	•  Panda Cloud Antivirus 1.5
•  ESET NOD32 Antivirus 5.0	•  Qihoo 360 Antivirus 2.0
•  F-Secure Anti-Virus 2011	•  Trustport Antivirus 2012

앞서 언급한 것처럼, AVG, K7, McAfee, PC Tools, Sophos, Symantec, Trend Micro, Webroot 등 많은 제품들이 사전 방역 테스트에서는 결과를 공개하지 않았습니다. Av-Comparatives에서 밝히기로는 클라우드 진단 미적용 문제나 낮은 진단율, 많은 수의 오진 문제 등으로 공개를 원하지 않았다고 합니다.

일부 제품의 경우 클라우드 진단과 행동 기반 진단에 기대는 경우가 많기 때문에, 단순 시그니처 테스트 결과를 공개하지 않는 것도 이해가 갑니다만, 개인적으로 많이 아쉽습니다.

테스트에 임하는 기본 환경 설정은 보안 제품의 모든 진단 기능의 감시 및 민감도를 최고 강도로 설정합니다. 단, 일부 제품은 기본 설정 또는 특별한 제한을 두었습니다.

• AVIRA, Kaspersky는 최고 강도 휴리스틱 진단 및 고급 진단 기능을 모두 사용
• F-secure는 기본 설정 (고급 휴리스틱 진단 사용 안함)
• Avira는 패커 진단을 테스트에서 제외
  (※ 이는 악성코드 진단 및 정상 파일 오진에서도 동일하게 적용되었습니다. 따라서 실제 사용 환경
      에서는 테스트결과 보다 진단율과 오진율이 더 높을 수 있습니다.)
•  클라우드 기술이 포함된 제품은 클라우드 진단값을 테스트 결과에 포함시키지 않았습니다.

2-2. 테스트 세부 결과 정보

(1) 악성코드 샘플

---

악성코드는 2011년 8월 13일부터 8월 20일까지 수집된 샘플을 이용하였습니다. 테스트 시점(8.12)을 기준으로 안티 바이러스 제품의 업데이트를 마친 후 샘플을 수동 검사하여 진단율을 측정합니다.

총 9003개의 서로 다른 샘플이 사용되었습니다. 역시나 작년말의 23,237개보다는 매우 적은 수의 샘플입니다.


(2) 테스트 결과

---

아래는 진단율의 세부 결과입니다.

최근에 국내 제품인 알약이 바이러스 블러틴의 RAP 테스트에서 높은 성능을 보여주었는데, 같은 비트디펜더 엔진을 사용하는 Qihoo도 좋은 성적을 보여주었습니다. 비트디펜더 자체보다 높은 성적이기에 더욱 눈에 띄는 결과가 아닐까 싶습니다. 물론 오진 문제는 해결해야할 과제입니다.

Qihoo와 마찬가지로 낮은 진단율에서 높은 진단율로 개선된 성능을 보인 Trustport도 오진이 상당히 아쉬웠습니다. AVAST는 지난 테스트에서 정보를 공개 안 했는데 이번 진단율을 보니 왜 결과를 공개 안 했는지 알 것 같습니다.  Sophos는 진단율이 지속적으로 하락했었는데, 결국 정보를 공개 안 하게 되었습니다. ESET은 지난 번 테스트에서 오진과 진단율 한꺼번에 상승했었는데, 이번 테스트에서는 오진율을 줄여 최상위 등급을 획득하는데 성공했습니다.

아래는 오진 숫자 정보입니다.

진단율과 오진 숫자에 따른 등급 책정은 아래와 같습니다. 최상위 등급의 진단율은 60% 정도로 좀 더 강화되어야 하지 않나 싶습니다. 오진이 문제지 거의 대부분의 제품이 최상위 등급 조건이 되는 것은 문제가 있습니다.

---

지난번 테스트에서 언급한 것처럼 올해 테스트부터 여러 가지 변화가 있었습니다. 악성코드 샘플별 진단 결과 등 사전 방역 테스트의 세부 결과가 공개되지 않고 있고, 테스트 샘플도 많이 줄었습니다. 이런 저런 문제로 세부 정보를 공개 안한 제품들도 상당히 많습니다.

항상 느끼는 것이지만, 날고 기는 제품들이라 할지라도 와일드 리스트 샘플의 사전 진단율이 겨우 60% 정도라는 것은 시그니처 진단만의 한계를 여실히 보여준다 생각합니다. 또 로컬 지역에서의 결과는 위 자료와 다를 수 있다는 점이 그렇습니다. 테스트에 주로 와일드 리스트 샘플을 사용하기 때문인데, 로컬화 악성코드를 고려하면 제품에 따라 진단율이 위 자료와 많은 차이를 보일 것입니다. 명확한 자료를 제시는 못하지만 높은 진단율의 ESET만 하더라도 국내에서의 최종 PE 형태의 악성코드에 대한 사전 진단율은 위 자료만큼의 수준은 아닙니다. 이럴 때마다 로컬 지역별 진단 테스트의 필요성을 느끼게 됩니다.

여하튼 이번 테스트도 흥미로운 점이 많았습니다. 

- 이상입니다.