[AV-TEST] 안티 바이러스 종합 성능 테스트 (2011년 2분기)

독일의 전문 보안 연구 단체인 AV-TEST에서 2011년 2분기 안티 바이러스 종합 성능 테스트 결과를 발표하였습니다.

▶ 관련글

- [AV-TEST] 안티 바이러스 종합 성능 테스트 (2011년 1분기)
- [AV-TEST] 안티 바이러스 종합 성능 테스트 <2010년 4분기>

▶ 출처 : http://www.av-test.org/certifications

---

독일의 민간 보안 연구 단체인 AV-TEST에서 2011년도 2분기 안티 바이러스 종합 성능 테스트 결과를 발표하였습니다.

04월부터 06월까지 총 3개월 동안 테스트가 진행되었으며, 윈도우 XP 환경에서 22개의 제품이 테스트되었습니다. 그 중 16개 제품이 인증에 성공하였습니다.

※ 테스트에 대한 세부 설명은 2010년 4분기 자료를 참고바랍니다.

1. 인증 결과

평가 결과가 발표된 22개의 제품 중 16개의 제품은 인증에 성공하였고, 6개 제품은 실패하였습니다.

업계 평균치를 기준으로 해서 6점 만점에 0.5점 단위로 점수를 부여하였습니다. 각 항목에 대한 점수의 합이 11점이 넘어야만 "인증"을 획득할 수 있습니다. 

인증 결과와 각 항목에 대한 점수는 아래와 같습니다.

지난 분기와 달리 모든 항목에서 5점을 넘은 제품이 셋이나 있습니다. 최고 점수를 받은 비트디펜더와 카스퍼스키, 판다가 그 주인공입니다.

먼저 전체 항목으로 볼 때 총점이 가장 높은 제품은 Bitdefender로 무려 17점을 획득했습니다. 그 뒤로 카스퍼스키(16점), 판다(15.5점)가 위치하고 있습니다.

악성코드 진단 관련 항목인 보호(Protection) 항목에서 높은 점수(5.5 이상)를 받은 제품들은 AVG, Bitdefender, F-secure, G-data, Kaspersky, Panda등입니다. 그 중에서 특히 비트디펜더가 6점으로 최고 점수를 받은 것이 눈에 띕니다.

복구(Repair) 항목에서 높은 점수(5.0 이상)를 받은 제품들은 Bitdefender, F-secure, Kaspersky, Panda, Symantec, Webroot 등입니다.

마지막으로 편리성(Usability) 항목에서 높은 점수(5.0 이상)를 받은 제품들은 Bitdefender, ESET, Kaspersky, MSE, Panda, Sophos 등입니다.

모든 항목에서 비트디펜더 이름이 보일 정도로 이번 테스트에서는 비트디펜더가 매우 뛰어난 성적을 거두었습니다.

인증을 통과한 제품을 잠시 살펴보면 지난 분기와 달리 어베스트의 보호 항목은 높아졌으나, AVIRA의 경우는 오히려 0.5점 감소했습니다. 그래도 Webroot 제품(2점)보다는 높아서 체면 유지는 한 것 같습니다. AVIRA의 문제는 역시나 제로데이 진단과 실행 진단의 진단율이 낮다는 점입니다. 시그니저 진단은 명성답게 만점을 기록 중입니다. 반대로 GFI(구 Sunbelt), MSE, Webroot 등은 보호 항목이 상당히 낮게 결과가 나왔습니다.

이번 분기에서는 CA와 Comodo, K7, McAfee, Norman, PCtools 등이 탈락했습니다.

K7은 이번에 최초로 참여했는데 0.5점 차이로 탈락했습니다. 참고로 eScan 제품은 이번 테스트에는 참여하지 않았습니다.

코모도와 피시툴즈는 지난 분기와 비슷한 이유로 탈락했으며, 코모도는 복구 및 편리성 부분에서 하위권에 머무르면서 여지없이 탈락했습니다. 와일드 리스트 샘플 미검출 문제나 악성코드 치료 문제, 오진 등은 많은 부분에서 개선이 필요합니다.

2. 테스트 세부 결과

2-1. 테스트 환경 및 테스트 참여 제품 정보

테스트에 사용된 OS는 윈도우 XP 32bit입니다.

각 제품들은 설치시 제공되는 기본 설정 상태로 테스트에 참여하였습니다. 주목할 부분은 전통적인 성능 테스트처럼 네트워크 연결이 차단된 상황에서 테스트가 진행된 것이 아니라는 점입니다. 즉, 테스트 시점까지 DB 업데이트가 진행된 것은 물론, 클라우드 기능을 이용한 네트워크 진단 기능 또한 사용할 수 있습니다. 또한, 행동 기반 진단을 위한 모든 기능이 사용되고 있습니다.

테스트에 참여한 제품과 각 제품의 버전 정보는 아래와 같습니다. 세부적인 빌드까지는 포함이 안되어 있으나 테스트 기간 동안에 나온 최신 버전을 사용합니다. 신규 버전이 나왔을 경우 신규 버전으로 테스트가 진행됩니다.

• Avast: Free AntiVirus 6.0
• AVG Internet Securit 10.0
• AVIRA Premium Security Suite 10.0
• BitDefender Internet Security suite 2011
• BullGuard Internet Security 10.0
• CA Internet Security Suite 2011
• Comodo Internet Security Premium 5.0/5.3
• ESET Smart Security 4.2
• F-Secure Internet Security  2011
• G DATA Internet Security 2012
• GFI / Sunbelt: Vipre Antivirus Premium 4.0
• K7 Computing: Total Security 11.1
• Kaspersky Internet Security 2011/2012
• McAfee Internet Security 2011
• Microsoft Security Essentials 2.0
• Norman Security Suite 8.0 
• Panda Internet Security 2011/2012
• PC Tools Internet Securiry 2011
• Sophos Endpoint Security and Control 9.5/9.7
• Symantec Norton Internet Security 2011
• Trend Micro Titanium Internet Security 2011
• Webroot Internet Security Essentials 7.0

2. 테스트 항목 세부 정보

이번 분기의 샘플 수와 업계 평균은 아래와 같습니다. 가로 친 부분은 전 분기의 업계 평균치입니다.

	세부 항목	설명	샘플 수	업계평균
Protection	웹 상의 제로데이 공격 차단 - exploit code 등을 진단	이메일과 웹사이트 등 네트워크 상에서 이루어지는제로데이 취약점 공격을 사전에 얼마만큼 차단하는가를 측정	108개	81% (84%)
	실행되었거나 또는 실행되는 악성코드 차단	행동 기반 악성코드 진단 성능 테스트 (Dynamic Detection testing)	34개	65% (62%)
	악성코드 진단율 테스트	수동 검사를 통한 악성 코드 진단율 테스트, 2-3개월 이내에 발견된 악성코드를 사용	424,860	98% (97%)
	와일드 리스트 진단율 테스트	전세계 2개 지역 이상에서 발견되는 악성코드 (와일드 리스트)의 진단율 테스트	10,224개	100% (100%)
Repair	활성화된 와일드 리스트 샘플 악성 요소 제거 성능	활성화된 악성코드의 모든 요소에 대한 삭제 성능 진단 테스트	23개	96% (86%)
	악성코드의 요소들과 악성코드에 의해 변조된 시스템의 복구(교정) 능력 테스트	종합 치료 성능 테스트	23개	70% (48%)
	의도적으로 숨겨진 활성화 악성코드 진단 테스트	루트킷 진단 테스트	18개	78% (79%)
	의도적으로 숨겨진 활성화 악성코드 삭제 테스트	루트킷 치료 테스트	18개	44% (57%)
usability	보안 제품으로 인해 시스템이 느려지는 일일 평균 시간 측정 테스트	퍼포먼스 테스트, 1일을 기준으로 보안 제품이 무설치된 시스템과 비교하여 느려진 시간을 측정	13개	140초 (171초)
	정상 프로그램 오진율 테스트	시그니처를 이용 수동 검사시 오진율 테스트	699,760	9개 (7개)
	정상 프로그램을 설치, 실행,사용 시에 일어나는 오진 테스트	행동 기반 오진 테스트	22개	경고 1회 차단 0회

지난 분기에 비하여 수동 검사용 샘플은 줄고, 취약점 공격 코드와 활성화 진단 샘플이 늘어났습니다.

 

2-3. 테스트 세부 결과

클릭시 원본 크기로 볼 수 있습니다.

보호 항목에서 와일드 리스트 샘플에 대한 업체 평균은 100%입니다. 와일드 리스트를 진단 못하는 코모도, 맥아피, 피시툴즈 등은 다소 문제가 있습니다.

이번 분기는 비트디펜더의 'All Kill'로 요약할 수 있을 듯 합니다. 보호/복구/편의성 모든 부분에서 최상위권에 위치하고 있으며, 내부 세부 항목에서도 대부분의 항목이 최고 점수를 받고 있습니다.  2011버전부터 확실히 변화된 모습이 눈에 띕니다. 시그니처 진단 자체의 체감도는 크게 차이가 없는 것 같은데, 내부적인 변화가 큰 것 같습니다.

Avira는 지난 테스트와 마찬가지로 누적 샘플과 와일드 리스트 샘플 진단은 여전히 뛰어난데, 실행 진단과 취약점 진단에서 상당히 약한 모습을 보여주고 있습니다. 아무래도 샘플이 제너릭 진단으로 잘 잡곤하는 스크립트가 아니다보니 진단율이 떨어지는 것 같습니다. 그래도 취약점 코드가 담긴 스크립트나 swf 등은 바로바로 시그니처에 반영이 되는데 의아하긴 합니다. 이에 반해 AVAST는 취약점 샘플에 대한 진단율이 체감 성능과 비슷하게 올라간 것 같습니다.

코모도와 피시툴즈는 시그니처 진단에서 여전히 문제를 보이고 있습니다. 코모도의 경우 클라우드 진단이 의외로 쏠쏠하게 진단하던데 와일드 리스트 등에서 미진단이 보이는 것을 보면 여전히 개선이 필요하다고 봅니다. 피시툴즈의 경우 시만텍에서 DB를 받아올 때 시간차가 있는 것 같습니다.

지난 테스트와 달리 악성코드 치료 항목의 점수가 대폭 상승했습니다. 덕분에 코모도처럼 치료율이 떨어지는 제품이 눈에 확 띕니다.

오진 항목은 지난 테스트에 비해 시그니처 진단의 오진이 조금 높게 나왔습니다. 그러나 MSE는 유일하게 시그니처, 행동 기반 진단 등 모든 항목에서 오진이 없었습니다. 의외로 시그니처 항목에서 AVIRA의 오진이 거의 없었지만 행동 기반 진단에서 많은 수의 오진을 내면서 전체 점수는 낮게 측정되었습니다. 오진이 많은 제품들은 코모도, K7, 맥아피, 노만, 피시툴즈, 시만텍 등입니다.

퍼포먼스를 보면 ESET, 비트디펜더, 판다, 웹루트가 좋은 점수를 받았습니다. 비트디펜더는 지난 분기에 이미 언급을 했는데, 판다의 경우 2012버전이 퍼포먼스 개선에 성공한 것 같습니다. 무겁다 평가 받는 제품들이 버전이 높아짐에 따라 전반적으로 가벼워지는 것 같습니다.

---

요즘 테스트들을 살펴보면 비트디펜더의 발전 모습이 눈에 띄게 보이는데, 곧 나올 2012버전이 무척 기대됩니다.


- 이상입니다.