AV-comparatives : Summary Report 2011 (종합 보고서)

AV-Comparatives의 2011년 결산 보고서를 살펴보도록 하겠습니다.

▶ 관련 글

- AV-Comparatives 웹 공격 차단 종합 성능 테스트 - Whole Dynamic TEST 2011 (하)
- AV-Comparatives 악성코드 치료 성능 테스트 - Removal TEST (2011)
- AV-Comparatives 시스템 퍼포먼스 영향 펑가- Performance Test (Anvi-virus, 2011)
- AV-Comparatives 11월 안티-바이러스 사전 방역 진단율 테스트 (2011)
- AV-Comparatives 피싱 사이트 차단 테스트 (Anti-Phishing Test)
- AV-Comparatives 8월 수동 검사 진단율 테스트 안랩 참여 (2011)
- AV-Comparatives 8월 안티-바이러스 수동 검사 진단율 테스트 (2011)
- Comparatives 시스템 퍼포먼스 영향 펑가-Performance Test(Security Suites, 2011)
- AV-Comparatives 웹 공격 차단 종합 성능 테스트 - Whole Dynamic TEST 2011 (상)
- AV-Comparatives 5월 안티-바이러스 사전 방역 진단율 테스트 (2011)
- AV-Comparatives 4월 안티-바이러스 수동 검사 진단율 테스트 (2011)

▶ 출처 : http://www.av-comparatives.org

---

오스트리아에 위치한 보안 연구 단체인 AV-Comparatives에서 2011년도에 행한 테스트들의 결산 보고서를 발표하였습니다. 각 테스트들의 세부 정보는 위 링크를 참고 바랍니다.

2011년에 AV-Comparatives에서 수행한 모든 테스트를 종합한 결과, 러시아의 'Kaspersky' 제품이 "올해(2011년)의 제품"으로 선정되었습니다.

카스퍼스키는 2011과 2012버전을 통해 새로운 행동 기반 진단 기능과 클라우드 진단 기능이 추가되었고 퍼포먼스 측면에서도 많은 개선이 있었습니다. 현재 사용되고 있는 보안 기능들 대부분이 하나의 제품에 포함되어 있다는 점, 특히 거의 모든 테스트에서 중상위권에 이르는 높은 수준의 시그니처 진단율과 행동 기반 진단이 적절하게 조화 되어 있다는 점이 카스퍼스키의 가장 큰 장점이라고 생각합니다. 또한 HIPS와 Behavioral Blocker 등이 포함되어 있음에도 비교적 일반 사용자들도 쉽게 사용할 수 있게 UI가 디자인된 점도 매우 훌륭하다고 봅니다.

사실 개인적으로는 하반기에 매우 뛰어난 성적을 보인 비트디펜더가 올해의 제품에 뽑히지 않을까 생각도 해봤는데, 모든 항목에서 뒤쳐짐없이 뛰어났던 카스퍼스키를 이길 수는 없었던 것 같습니다.

1-1. 세부 결과

AV-Comparatives에서 수행한 2011년도의 모든 테스트의 결과는 아래와 같습니다.

테스트 결과 종합

(※ 회색 박스는 최저 등급을 받은 것을 의미합니다. 단, 'N/A' 표시가 있는 것은 업체에서 테스트 결과를 발표하는 것을 거부한 것이고, 검은색 박스는 해당 테스트를 받지 않은 것을 의미합니다.) 

각 개별 테스트 정보는 관련 글의 링크를 참고 바랍니다.

올해의 제품에 뽑힌 제품답게 카스퍼스키는 모든 테스트에서 최고 등급인 'Advanced +'를 획득했습니다.
비트디펜더는 퍼포먼스 테스트에서 등급이 떨어진 것과 상반기 사전 방역 진단이 2등급을 받은 것 때문에 전체 점수에서 밀린 것 같습니다. 또한 강력한 경쟁자이자 2010년도 올해의 제품이였던 F-secure는 상반기 사전 방역테스트와 치료 테스트에서 낮은 등급을 받아 카스퍼스키에게 왕좌를 넘겨주었습니다.

'ADV+' 등급을 가장 많이 받은 상위 5개 제품은 'AVIRA, Bitdefender, ESET, F-Secure, Kaspersky' 입니다.

개인적으로 시만텍이 작년 한 해 좋지 못한 점수를 받은 것이 눈에 띕니다.

아래는 AV-Comparatives에서 직접 통계낸 각 테스트별 순위입니다. 참고로 모든 통계는 'ADV+' 등급을 받은 제품들을 기준으로 작성되었습니다.

시그니처 진단율 상위 제품(수동 검사)
Gold	F-Secure (98.2%)
Silver	AVIRA (98.2%)
Bronze	Bitdefender (97.7%)

사전 방역 진단율 상위 제품(시그니처)
Gold	AVIRA (~60.7%, 20 FPs)
Silver	Kaspersky (~57.6%, 13 FPs)
Bronze	No Product

오진율 테스트 상위 제품
Gold	McAfee (0)
Silver	Microsoft (2)
Bronze	F-Secure (9)

수동 검사 속도 상위 제품
Gold	Avast (~16.4 MB/sec)
Silver	K7 (~13.0 MB/sec)
Bronze	Trend Micro (~12.9 MB/sec)

 

 

 

시스템 퍼포먼스 상위 제품
Gold	ESET, Symantec
Silver	K7
Bronze	AVIRA

악성코드 치료 성능 상위 제품 (수동 검사)
Gold	Bitdefender
Silver	PC Tools
Bronze	Kaspersky, Symantec

 

 

 

웹공격 차단 상위 제품(Whole Dynamic)
Gold	Bitdefender
Silver	F-Secure
Bronze	G DATA

시그니처 진단, 사전방역 진단, 웹공격 차단, 퍼포먼스 테스트처럼 상반기, 하반기에 두 번 테스트가 있는 경우 평균을 이용해서 통계를 작성합니다. 이와 달리 사전 방역과 오진율 테스트의 오진 수는 상반기, 하반기 오진의 합입니다.

수동 검사에서 카스퍼스키는 97.4%로 4등, 맥아피가 96.8%로 5위를 차지하였습니다. 사전 방역 테스트는 상반기 5월 테스트에서 최고 등급을 받은 제품이 AVIRA와 Kaspersky 제품 밖에 없어서 2위까지만 통계를 내었습니다. 카스퍼스키는 웹 공격 차단 테스트에서도 4위를 차지하였습니다. 진단율 항목에서는 최상위권은 아니더라도 항상 상위권에서 위치하고 있습니다.

맥아피는 오진 갯수가 0으로 매우 안정적으로 나왔습니다. 개인적으로 볼 때도 정식 진단과 클라우드 진단인 아르테미스 오진이 좀 줄어든 것은 사실입니다. 그러나 국내에 대응팀이 없는 외국 제품이니 만큼 테스트보다는 오진율이 높다고 생각합니다.

웹 공격 차단에서는 비트디펜더와 비트디펜더 엔진을 사용하는 제품들의 강세가 나타났습니다. 시만텍은 하반기에 높은 차단율에도 불구하고 정상 사이트의 오진이 많아 등급이 떨어져서 결국 순위권에 들지 못하였습니다. 


테스트 통계가 최고 등급인 'Advanced +'를 받은 제품들만 이용하다보니, 오진이 상대적으로 많았던 다중 엔진 제품과 특정 제품들은 순위권에 들지 못했습니다. 덕분에 진단율만 놓고 볼 때 강세를 보였던 G-data나 Trustport등은 순위권에서 멀어졌습니다. 

그리고  전반기에는 별다른 것을 보여주지 못하다가 하반기에 강세를 보인 비트디펜더와 Qihoo같은 제품들도 전반기의 점수 때문에 아쉬움을 느껴야했습니다. 그래도 비트디펜더와 같은 제품은 작년의 흐름이 계속 이어진다면, 2012년도에는 올해의 제품을 노려볼만하지 않을까 싶습니다.

---

국내 환경에서 해당 테스트의 결과가 100% 들어맞는 것은 아니지만, ADV+ 등급을 가장 많이 받은 'AVIRA, Bitdefender, ESET, F-Secure, Kaspersky' 등은 비트 엔진의 오진만 제외하면 국내에서도 사용할만한 제품들이 아닐까 싶습니다.

추가하자면 국내에서도 인기가 많은 외국 제품인 AVAST와 Symantec 정도가 추천할만한 제품으로 보입니다. 


안랩도 하반기에 슬그머니 시그니처 진단율 테스트에 참여를 했는데, 단일 테스트에만 곁다리로 참여한 거라 테스트 결과 종합 보고서에서는 아예 배제되었습니다. 이제는 국내를 넘어 글로벌 진출을 꿈꾸고 있는 안랩인데, 올해에는 모든 테스트에서 외국 제품들과 경쟁하는 모습을 보고 싶습니다.


- 이상입니다.