[AV-TEST] 안티 바이러스 종합 성능 테스트 <2010년 2분기>

AV-TEST에서 발표한 2 분기 안티 바이러스 성능 평가 결과를 살펴봅니다.

▶ 관련글

- PC World 보안 제품 테스트 결과(with AV-Test) - Internet Security suite 제품 비교
- PC World 무료 보안 제품 비교 분석 리뷰
- AV-Comparatives 6월 안티-바이러스 사전 방역 진단율 테스트 (2010)

---

독일에 위치한 민간 보안 연구 단체인 AV-TEST는 매년 안티 바이러스를 비롯한 보안 프로그램의 성능 평가를 진행합니다. AV-TEST는 타 연구 단체의 테스트와 달리 과거부터 악성코드 진단 테스트과 함께 치료 성능·스캔 속도·사전 방역 성능·루트킷 진단 등 다양한 항목들을 종합적으로 테스트하였습니다. 최근에도 비슷한 항목을 평가하는 PC-World의 보안 제품 테스트를 대행하는 방식으로 테스트를 진행하고 있었습니다. 

Product	malware on demand	adware / spyware on demand	false positives	scan speed	proactive detection	response times	malware on demand	adware / spyware on demand
AntiVir (Avira)	++	++ (4)	+	++	+	++	99.8%	99.0%
Avast! (Alwil)	++	++	+	+	o	o	99.3%	98.3%
AVG	+	- (4)	+	+	o	o	95.8%	87.0%
AVK 2008 (G Data) (1)	++	++	o	-	+	++	99.2%	99.1%
AVK 2009 (G Data) (2)	++	++	+	+	++	++	99.8%	99.8%
BitDefender 2008	+	-	+	-	++	+	97.7%	87.8%
BitDefender 2009	+	-	+	o	++	+	97.6%	88.0%
CA-AV (VET)	--	--	++	o	-	--	65.5%	68.0%
ClamAV	-	o	-	--	-	++	88.5%	92.8%
Dr Web	--	-	o	o	+	o	84.9%	89.6%
eScan	+	+	o	-	+	++	97.8%	97.4%
Fortinet-GW	o	--	o	+	++	+	92.6%	81.9%
F-Prot (Frisk)	o	o	+	+	o	o	94.8%	92.6%
F-Secure 2008	++	++	+	o	++	+	98.2%	98.4%
F-Secure 2009	++	++	+	+	++	++	99.2%	99.6%
Ikarus	++	++	o	+	+	+	99.5%	98.6%
K7 Computing	o	o	o	++	-	o	92.1%	94.0%
Kaspersky	++	++	o	o	+	++	98.4%	98.3%
McAfee	o	o	++	o	+	-	93.6%	94.5%
Microsoft	+	+	++	o	-	-	97.7%	97.1%
Nod32 (Eset)	o	o	++	++	++	+	94.4%	94.7%
Norman	+	+	+	o	+	o	96.3%	95.8%
Norton 2008 (Symantec)	+	o	++	+	+	o	97.8%	94.6%
Norton 2009 (Symantec)	++	+	++	++	+	++	98.7%	95.4%
Panda 2008	-	o	+	+	++	o	86.4%	93.4%
Panda 2009	o	+	+	+	++	+	91.8%	95.6%
Rising	--	--	+	o	o	o	83.4%	77.5%
Sophos	+	+	+	+	++	+	97.5%	95.0%
Trend Micro	o	-	+	+	o	+	91.3%	88.5%
TrustPort	++	++	-	--	++	++	99.5%	98.4%
VBA32	o	-	o	o	+	o	90.5%	85.2%
VirusBuster	-	-	+	+	o	o	89.0%	85.8%
WebWasher-GW (3)	++	++	o	++	++	++	99.7%	99.2%
ZoneAlarm	+	+	o	o	+	++	97.8%	97.7%
Index	malware on demand	adware / spyware on demand	false positives	scan speed	proactive detection	response times	malware on demand	adware / spyware on demand
++	>98%	>98%	no FP			< 2 h
+	>95%	>95%	1-2 FP			2 - 4 h
o	>90%	>90%	3-4 FP			4 - 6 h
-	>85%	>85%	5-6 FP			6 - 8 h
--	<85%	<85%	> 6 FP			> 8 h

이와 같은 흐름은 변함이 없지만 이번 테스트부터는 최종 평가 점수에 따라 통과, 실패를 나누고 자체적인 "인증" 표시를 부여하기 시작하였습니다. 각종 성능 테스트 결과의 종합 점수를 이용하여 인증을 실시합니다. 특히 분기별로 이와 같은 인증 평가를 시행한다고 밝히고 있어 주목됩니다.
(※ 이전 자료는 찾아보지 못해서, 과거에도 이러한 인증을 부여하는 테스트를 진행하였는지는 모르겠습니다.)

이번 평가의 기준은 크게 3개로 구분되며, 이는 다시 11가지의 세부적인 항목으로 나뉩니다.
 
평가 기준은 "Protection(시스템 보호 능력 - 진단 성능)", "Repair(시스템 복구 능력 - 치료 성능)", "Usability(사용 편의성 - 시스템 퍼포먼스 및 오진율)" 입니다.

이번 테스트는 윈도우 7 환경에서 실시되었고, 총 19개의 제품을 가지고 평가가 진행되었습니다. 2개의 제품은 결과가 발표되지 않았기 때문에 이들 제품을 제외한 17개 제품 결과를 살펴보겠습니다.

1. 테스트 최종 결과

평가 결과가 발표된 17개의 제품 중 13개의 제품은 인증에 성공하였고, 4개 제품은 실패하였습니다.

정확한 평가 알고리즘은 모르겠으나 업계 평균치를 기준으로 해서 6점 만점에 0.5점 단위로 점수를 부여하였습니다. 각 항목에 대한 점수의 합이 12점이 넘어야만 "인증"을 획득할 수 있습니다. 인증 결과와 각 항목에 대한 점수는 아래와 같습니다.

최종 결과 점수

전반적으로 우수한 성적을 보이고 있는 것은 "F-Secure", "Kaspersky", "Panda", "Symantec" 등입니다.

이들 제품은 진단율과 치료 성능, 전체적인 퍼포먼스 측면에서 모두 5점 이상의 우수한 점수를 획득하였습니다.

2. 테스트 세부 결과

2-1. 테스트 환경 및 참여 제품 정보

테스트에 사용된 OS는 윈도우 7 32bit입니다.

각 제품들은 설치시 제공되는 기본 설정 상태로 테스트에 참여하였습니다. 주목할 부분은 전통적인 성능 테스트처럼 네트워크 연결이 차단된 상황에서 테스트가 진행된 것이 아니라는 점입니다. 즉, 테스트 시점까지 DB 업데이트가 진행된 것은 물론, 클라우드 기능을 이용한 네트워크 진단 기능 또한 사용할 수 있습니다. 

위와 같은 테스트 방식은 보통 소규모 보안 제품 연구 단체에서 시행하였습니다. 이 경우 특정 제품에 약간의 이점이 생깁니다. 따라서 제품간 테스트 형평성에 다소 문제가 나타날 수 있습니다. 그러나 이러한 테스트 방식은 실제 사용자 환경에서 나타나는 위협에 대한 실질적인 보호 수준을 평가하는 데에는 도움이 됩니다. 

AV-TEST에서도 실질적인 성능 평가에 주목하고 있다 밝히고 있다는 점에서, 앞으로의 테스트는 이와 같은 방향으로 변하지 않을까 합니다.


테스트에 참여한 제품과 각 제품의 버전 정보는 아래와 같습니다.

• avast! Internet Security 5.0            
• AVG Internet Securit 9.0
• AVIRA Premium Security Suite 10.0
• BitDefender Internet Security suite 2010
• BullGuard Internet Security  9.0
• ESET SMART Security 4.2
• F-Secure Internet Security  2010
• G DATA Internet Security 2010 -> 2011
• Kaspersky Internet Security 2010
• McAfee Internet Security 2010
• Microsoft Security Essentials 1.0
• Norman Security Suite 8.0 
• Panda Internet Security 2010
• PC Tools Spyware Doctor with AV 7.0
• Symantec Norton Internet Security 2010
• Trend Micro Internet Security Pro 2010
• Webroot Internet Security Essentials 6.1

AV-TEST에서는 4월부터 6월을 기준으로 테스트를 진행하였는데, 테스트에 사용된 보안 제품들은 당시에 제공되는 최신 버전을 사용하였다고 밝히고 있습니다.

행동 기반 진단 등을 위함이긴 하지만, 보통 안티바이러스 제품군을 주로 사용하는 유명 해외 테스트에서 인터넷 시큐리티 제품군이 사용된 테스트가 진행되었다는 점이 개인적으로 주목되는 점입니다.다.

2-2. 테스트 결과 세부 정보

테스트는 모두 11가지의 세부 항목을 갖고 있습니다. 세부 항목의 정보는 아래의 표를 참고 바랍니다.

	세부 항목	설명	샘플 수	업계평균
Protection	웹 상의 제로데이 공격 차단 - exploit code 등을 진단	이메일과 웹사이트 등 네트워크 상에서 이루어지는제로데이 취약점 공격을 사전에 얼마만큼 차단하는가를 측정	59개	75%
	실행되었거나 또는 실행되는 악성코드 차단	행동 기반 악성코드 진단 성능 테스트 (Dynamic Detection testing)	16개	63%
	악성코드 진단율 테스트	수동 검사를 통한 악성 코드 진단율 테스트, 2-3개월 이내에 발견된 악성코드를 사용	1,359,862	95%
	와일드 리스트 진단율 테스트	전세계 2개 지역 이상에서 발견되는 악성코드 (와일드 리스트)의 진단율 테스트	26,964개	100%
Repair	활성화된 와일드 리스트 샘플 악성 요소 제거 성능	활성화된 악성코드의 모든 요소에 대한 삭제 성능 진단 테스트	20개	90%
	악성코드의 요소들과 악성코드에 의해 변조된 시스템의 복구(교정) 능력 테스트	종합 치료 성능 테스트	20개,	50%
	의도적으로 숨겨진 활성화 악성코드 진단 테스트	루트킷 진단 테스트	7개	100%
	의도적으로 숨겨진 활성화 악성코드 삭제 테스트	루트킷 치료 테스트	7개	71%
usability	보안 제품으로 인해 시스템이 느려지는 일일 평균 시간 측정 테스트	퍼포먼스 테스트, 1일을 기준으로 보안 제품이 무설치된 시스템과 비교하여 느려진 시간을 측정	13개	251초
	정상 프로그램 오진율 테스트	시그니처를 이용 수동 검사시 오진율 테스트	611,548	4개
	정상 프로그램을 설치, 실행,사용 시에 일어나는 오진 테스트	행동 기반 오진 테스트	20개	경고 2회 차단 1회

테스트 세부 항목 정보

Protection 항목의 행동 기반 진단 테스트를 제외한 나머지 항목과 Repair 항목의 시그니처를 이용한 정상 프로그램 오진 테스트는 각각 4 · 5· 6월마다 샘플을 다르게 하여 테스트하였습니다. 즉, 위 표의 샘플 수는 각 기간 별로 테스트에 사용된 누적 샘플입니다. 또한, Repair 항목의 행동 기반 오진 테스트에서는 단순 경고 알림과 동작 차단 항목을 구분하였습니다.


각 제품의 테스트 세부 결과는 아래와 같습니다.
(※ 3개 제품 별로 구분하였습니다. 클릭시 원본 크기로 볼 수 있습니다.)

평가 결과 세부 정보

의외로 안티버가 취약점 공격 코드에 대한 진단율이 다소 떨어진다는 점과 AVG·Kaspersky·Panda·Pctools ·Symantec·TrendMicro 같은 제품들의 행동 기반 진단이 상당히 뛰어나다는 점이 흥미롭습니다.

Repair 항목에서는 역시 카스퍼스키가 높은 점수를 받고 있으며, Panda 제품도 높은 점수를 받았습니다. 역시 대체로 와일드 리스트 샘플에 대해서는 대응(진단 및 치료)이 괜찮게 이루어지고 있지만, 전체 샘플을 기준으로 보면, 보안 제품이 악성코드에 의한 시스템 변조 문제를 제대로 처리하지 못하고 있음을 알 수 있습니다.

Usability 항목에서는 역시 시그니처 사전 진단이 강한 안티버와 Eset 등에서 약간의 오진을 하였지만 Norman이나 Pctools 등에 비하면 크게 문제되지 않을 수준이라 생각합니다. 

안티버 리뷰 당시, Proactive 기능에 대한 정보를 찾기가 다소 어려웠고, 해당 기능을 직접 테스트해봐도 일부 국내 인터넷 결제용 모듈과 온라인 게임의 모듈을 진단하는 것 외에는 오탐이 거의 없었고, 악성코드를 진단하는 경우도 없어서(...), 개인적으로 성능에 관해 상당히 궁금증이 많았습니다. 테스트 결과만 보면 다소 아쉽지만, 처음 도입된 기능이니 만큼 더 발전될 가능성이 있지 않을까 싶습니다.

퍼포먼스 부분은 개인적으로 체감했던 부분과 상당히 많이 다른데, 이 부분은 사용자마다 딜레이를 크게 느끼는 항목이 다르기 때문에 어쩔 수 없다고 봅니다. 특히, 이번 테스트의 경우 보안 제품 설치로 인해 프로그램 구동 등이 느려지는 부분만을 측정한 것이라 사용자가 체감하는 부분과는 많이 다를 것이라 생각됩니다. 그래도 비트디펜더나 판다같은 제품의 경우는 너무 퍼포먼스가 잘나온 것이 아닌가 합니다.

---

AV-TEST의 평가 자료는 개인적으로 VB100, RAP test나 AV-Comparatives와 함께 자주 보는 자료 중 하나입니다. 최근에는 AV-Comparatives에서도 보안 제품의 다양한 항목을 테스트 하고 있지만, AV-TEST에서는 이전부터 유사한 테스트를 진행해오고 있었습니다. 그래서 개인적으로는 AV-TEST의 평가 자료를 가장 중심적으로 보고 있습니다.

물론 외국(독일)에서 행해지는 테스트이니 만큼 국내 환경에서 진단과 오탐에 관한 것은 체감적으로 다소 다를 수 있다고 봅니다. 그러나 제품이 갖고 있는 기본적인 성능을 알아보는데에는 문제가 없으리라 생각하며, 국내 제품들도 이런 테스트에서 결과를 볼 수 있는 날이 오기를 희망해봅니다.


- 이상입니다.