AV-Comparatives 3월 안티-바이러스 수동 검사 진단율 테스트 (2012)

AV-Comparatives에서 수동 검사를 통한 악성코드 진단율 테스트 결과를 발표하였습니다.

▶ 관련 글

- 2012/01/12 - AV-comparatives : Summary Report 2011 (종합 보고서)
- AV-Comparatives 2월 수동 검사 진단율 테스트 (2009)

▶ 출처 : http://www.av-comparatives.org

---

오스트리아에 위치한 민간 보안 연구 단체인 AV-Comparatives 에서 2012년 첫 번째 메인 테스트 결과를 발표하였습니다. Av-Comparatives의 메인 테스트는 수동 검사 진단율 테스트와 사전 방역 진단율 테스트가 있으며, 전반기와 후반기 두 번에 걸쳐 진행됩니다.  

이번 테스트는 상반기 메인 테스트 중 수동 검사를 통한 진단율 테스트입니다. 수동 검사 진단율 테스트에 대한 세부적인 정보는 관련글의 2009년 2월 자료를 참고 바랍니다.

이번 테스트의 가장 큰 특징은 국내 보안 업체인 안랩에서 정식으로 테스트에 참여했다는 점입니다. AV-Comparatives는 기업체가 신청(유료)해야만 테스트를 하기 때문에 이는 안랩의 공식적인 행동이라 할 수 있습니다.

1. 테스트 최종 결과

※  '*' 가 붙은 제품은 상대적으로 많은 오진으로 인해 등급이 떨어진 것을 의미합니다.


먼저 새롭게 참여한 제품들과 테스트에서 빠진 제품들을 살펴보겠습니다. 관심을 끈 안랩 외에도 추가 테스트를 받았던 BullGuard 제품이 정식 테스트에 새롭게 참여했습니다. 또한, 방화벽까지 포함된 무료 제품을 제공하면서 국내에까지 알려진 Fortinet제품과, 최근 들어 각종 테스트에서 좋은 성적을 보여주며 선전하고 있는 GFI 제품이 새롭게 참여했습니다. 반대로 시만텍, TrustPort, K7, Qihoo과 같은 제품들이 테스트에서 빠졌습니다. 

안랩은 최저 등급인 'Tested'를 받았습니다. 최초의 정식 참여인데 결과가 좋지 않았습니다. 최저 등급을 받은 이유는 상대적으로 매우 저조한 진단율과 오진 때문입니다. 진단율이 낮아 3등급을 받은 상태에서 오진으로 인해 등급이 한 단계 떨어졌습니다. 클라우드 진단 기능인 ASD 기능이 사용되었음에도 이러한 결과를 받았다는 것이 뼈아플 것 같습니다. 종종 언급하는 것이지만 클라우드 진단 기능은 사용자의 수에 너무 많은 영향을 받습니다.

MSE 제품은 이번 테스트에서 유일하게 안랩보다 진단율이 낮은 제품이었습니다. 진단율에서 최하위인 것에 반해 오진이 하나도 없어 간신히 3등급(Standard)을 받았습니다. 개인적으로 안정성이 뛰어나다 판단해서 종종 추천을 하기도 하지만, 민감한 진단을 원하는 분들에게는 다소 아쉬운 제품이라 생각합니다.

진단율이 높은 제품은 G-data, AVIRA, 카스퍼스키 제품이었습니다. 카스퍼스키는 상당히 오랜 만에 최상위 계층으로 올라온 것 같습니다. 최초 참여한 BullGuard 제품도 비트디펜더 엔진의 힘을 빌어 선전했고, Fortinet 제품도 의외로 좋은 성적을 거두었습니다. 타 테스트에서 높은 진단율을 보여주었던 GFI는 약간 뒤쳐저 중위권의 결과를 받았습니다.

참고로 Fortinet은 오진으로 인해 맥아피와 함께 2등급(Advasnced)을 받았고, GFI는 3등급을 받았습니다.

무료 삼총사 중 AVIRA가 지속적으로 높은 진단율을 보여주는 것에 비해 AVAST, AVG는 중위권과 하위권을 머무르는 모습을 보이고 있습니다. 어베스트의 경우 순위상으로 중위권에 머물 뿐이지 상대 등급 상에서는 최고 등급 수준이며 오진도 비교적 적어서 최고 등급을 지켰지만, AVG는 낮은 등급을 받을 만큼 진단율이 상대적으로 떨어졌을 뿐만 아니라 오진도 많아서 3등급을 차지하고 있는 형편입니다. 다양한 테스트들 결과를 종합해보면 AVG가 누적 진단율 항목에서는 A 시리즈 중에서 가장 뒤떨어지는 제품인 것 같습니다. 

최저 등급을 왔다갔다 하던 PCtools는 하위권이긴 해도 상당히 준수한 진단율을 바탕으로 3등급을 차지하였습니다. 오진만 몇 개 덜 했어도 2등급이 될 수 있었는데 다소 아쉽습니다. 이번에 시만텍이 빠져서 피시툴즈를 통해 시만텍의 진단율을 간접적으로 살펴볼 수 있었던 것은 다행이라고 생각합니다.

사실 시만텍은 지난 테스트에서 진단율도 낮았고 오진도 많이 측정되어 망신을 당했기에, 개인적으로 이번 테스트에는 참여하지 않을 것 같다는 생각을 했었는데, 이렇게 감이 맞아 떨어질 줄은 몰랐습니다. 일시적인 하락을 견디기에는 그 명성이 너무 높았나 봅니다.

2. 테스트 세부 정보

2012년부터 AV-Comparatives에서 악성코드 종류별 진단 정보 등을 비롯한 세부 테스트 항목을 제공하지 않고 있습니다. 누적 샘플 진단율의 중요성이 떨어지다보니 테스트 정보가 부실해지는 것 같은데, 개인적으로는 다소 아쉽습니다. 중요 테스트에 포함된 테스트인 만큼 테스트 세부 정보는 제공해주는 것이 좋지 않나 생각합니다.

2-1. 테스트 참여 제품 정보

•  AhnLab V3 Internet Security 8.0.5.19	• G DATA AntiVirus 22.1.0.2
•  avast! Free Antivirus 7.0.1407	•  GFI Vipre Antivirus 5.0.5134
•  AVG Anti-Virus 2012.0.1913	•  Kaspersky Anti-Virus 12.0.0.374
•  AVIRA Antivirus Premium 12.0.0.915	•  McAfee AntiVirus Plus 11.0.654
•  Bitdefender Anti-Virus+ 15.0.36.1530	•  Microsoft Security Essentials 2.1.1116.0
•  BullGuard Antivirus 12.0.215	•  Panda Cloud Free Antivirus 1.5.2
•  eScan Anti-Virus 11.0.1139.1146	• PCTools Spyware Doctor with Antivirus 9.0.0.909
•  ESET NOD32 Antivirus 5.0.95.0	•  Sophos Anti-Virus 10.0
•  F-Secure Anti-Virus 12.49.104	•  Trend Micro Titanium AntiVirus Plus 5.0.1280
•  Fortinet FortiClient Lite 4.3.3.0436	•  Webroot SecureAnywhere 8.0.1.95

테스트에 임하는 기본 환경 설정은 보안 제품의 모든 진단 기능의 감시 및 민감도를 최고 강도로 설정합니다. 단, 일부 제품은 기본 설정 또는 특별한 제한을 두었습니다.

• AVAST, AVIRA, Kaspersky는 최상위 휴리스틱 및 고급 진단 기능을 모두 사용
• F-secure와 Sophos는 기본 설정 (고급 휴리스틱 진단 사용 안함)
• Avira, AVG는 패커 진단을 테스트에서 제외
  (※ 이는 악성코드 진단 및 정상 파일 오진에서도 동일하게 적용되었습니다. 따라서 실제 사용 환경
      에서는 테스트결과 보다 진단율과 오진율이 더 높을 수 있습니다.)

2-2. 테스트 세부 결과 정보

(1) 악성코드 샘플

---

악성코드는 2012년 2월까지 수집된 약 30만개의 샘플이 이용되었다고 합니다. 악성코드 종류별 분포는 앞서 언급한 것처럼 제공되지 않고 있습니다.

(2) 테스트 결과

---

악성코드 종류별 진단율이 없이 최종 진단율 정보만 제공되고 있습니다.

최종 진단율 - 순위별

아래는 진단하지 못한 악성코드의 수를 비율로 지수화해서 그래프로 표시한 것입니다.

 

그래프만 놓고 보면 최상위권과 중위권의 차이가 다소 큰 것을 알 수 있습니다. ESET 제품까지 최고 등급을 받았으니 등급별 기준이 너무 무르다 평가할 수도 있겠는데, 애초에 가장 낮은 진단율을 보인 MSE가 93%라는 진단율을 보이고 있기 때문에 절대적인 평가는 사실상 의미가 없다 할 수 있겠습니다.

클라우드 진단 등의 도입으로 인해 각 제품별로 누적 샘플 진단율이 점차 상향 평준화되었을 뿐더러, K7과 같이 진단율이 매우 낮게 측정된 제품이 빠지다보니 생겨난 현상입니다.

아래는 제품별 오진 숫자입니다.

안랩의 경우 아무래도 외국 테스트이기 때문에 국내와는 다른 모습을 보여주고 있다고 생각할 수 있겠습니다. 하지만 미국을 비롯해서 다양한 나라에 V3를 진출시키려 하고 있는 상황에서 위와 같이 오진이 많이 나타난다는 것은 문제가 있다고 생각합니다.

MSE가 0개의 오진을 받은 것에 비해 Webroot는 무려 428개의 오진을 보이고 있습니다. 트렌드 마이크로가 160여개로 꼴지 다툼을 벌이려 했으나 역부족이었습니다.

오진 수 그래프 표시

2-3. 등급 기준

이번 테스트부터 오진 항목에 'Very few' 등급이 추가되었지만 전체 등급 기준에는 영향을 주지 않았습니다. 다음 테스트나 내년 테스트에서 등급을 좀 더 세분화하려는 목적이 아닐까 싶습니다.

---

올 해부터 누적 진단율 세부 정보와 검사 속도 테스트 등이 모두 빠졌습니다. 세부 정보 보는 것을 좋아하는 저로서는 매우 아쉬울 따름입니다.

4개 제품이 빠지고 4개 제품이 추가되었는데, AV-Comparatives에서는 테스트 제품을 20개로 맞추는 것인지 아니면 단순히 빠지고 추가된 제품의 수가 우연히 같았을 뿐이지 궁금합니다. 테스트에 참여하는 제품이 많을 수록 테스트의 가치가 올라가는 법인데 역시 아쉬운 부분입니다.

안랩의 경우 AV-TEST에서도 최저 수준, AV-Comparatives에서도 최저 등급을 받았습니다. 참여 초기이기에 이런 결과를 받아도 크게 문제가 되지 않는다 생각합니다. 하지만 성능이 좋아지는 모습을 보여주지 못한다면 문제가 될 것이라 생각합니다. 돈 쓰면서 테스트 받는 것인데, 얻어가는 것이 있어야겠지요.

그나저나 이번에 살펴볼 예정인 트렌드 마이크로는 3등급을 받았군요... ~.~


- 이상입니다.