[AV-TEST] 안티 바이러스 종합 성능 테스트 <2010년 3분기>



AV-TEST에서 발표한 2010년도 3분기 안티 바이러스 종합 성능 테스트 결과를 살펴봅니다.

▶ AV-TEST 종합 테스트 모음

- [AV-TEST] 안티 바이러스 종합 성능 테스트 <2010년 2분기>


▶ 관련글

- PC World 보안 제품 테스트 결과(with AV-Test) - Internet Security suite 제품 비교
- PC World 무료 보안 제품 비교 분석 리뷰
- AV-Comparatives 6월 안티-바이러스 사전 방역 진단율 테스트 (2010)

---

독일의 민간 보안 연구 단체인 AV-TEST에서 2010년도 3분기 안티 바이러스 종합 성능 테스트 결과를 발표하였습니다.

이번 테스트는 윈도우 XP 환경에서 진행되었으며 총 19개의 제품이 테스트되었습니다. 그 중 16개의 제품의 결과만 발표되었습니다.

※ 이번 테스트의 자세한 부분은 2분기 테스트 결과에 세부적으로 설명되어 있으니 참고 바랍니다.

1. 테스트 최종 결과

평가 결과가 발표된 16개의 제품 중 13개의 제품은 인증에 성공하였고, 3개 제품은 실패하였습니다.

업계 평균치를 기준으로 해서 6점 만점에 0.5점 단위로 점수를 부여하였습니다. 각 항목에 대한 점수의 합이 12점이 넘어야만 "인증"을 획득할 수 있습니다.

인증 결과와 각 항목에 대한 점수는 아래와 같습니다.

최종 인증 및 평균 점수 결과

모든 테스트 항목 평균이 5점이 넘은 제품은 F-Secure와 Symantec이 유일하며, 전체 항목에서 비교적 좋은 점수를 골고루 받은 제품들은 Kaspersky, Panda, Pctools 등 입니다.

뛰어난 무료 제품을 제공하여 유명한 'A' 시리즈 3총사(AVAST, AVG, Avira)는 인증에는 통과하고 있지만 지난 분기 테스트 결과와 마찬가지로 특정 항목에서 성능이 떨어지고 있습니다.

지난 분기와 마찬가지로 McAfee와 Norman은 탈락했으며, 이번 분기에서는 Microsoft(Security Essentials) 제품이 탈락하였습니다. 탈락의 배경은 진단과 치료 부분의 점수 하락입니다.

2. 테스트 세부 결과

2-1. 테스트 환경 및 참여 제품 정보

테스트에 사용된 OS는 윈도우 XP 32bit입니다.

각 제품들은 설치시 제공되는 기본 설정 상태로 테스트에 참여하였습니다. 주목할 부분은 전통적인 성능 테스트처럼 네트워크 연결이 차단된 상황에서 테스트가 진행된 것이 아니라는 점입니다. 즉, 테스트 시점까지 DB 업데이트가 진행된 것은 물론, 클라우드 기능을 이용한 네트워크 진단 기능 또한 사용할 수 있습니다. 또한, 행동 기반 진단을 위한 모든 기능이 사용되고 있습니다.


테스트에 참여한 제품과 각 제품의 버전 정보는 아래와 같습니다.

• avast! Internet Security 5.0            
• AVG Internet Securit 9.0
• AVIRA Premium Security Suite 10.0
• BitDefender Internet Security suite 2010/2011
• ESET Smart Security 4.2
• F-Secure Internet Security  2010/2011
• G DATA Internet Security 2011
• Kaspersky Internet Security 2011
• McAfee Internet Security 2010/2011
• Microsoft Security Essentials 1.0
• Norman Security Suite 8.0 
• Panda Internet Security 2010/2011
• PC Tools Internet Securiry 2010/2011
• Symantec Norton Internet Security 2010/2011
• Trend Micro Internet Security Pro 2010
• Webroot Internet Security Essentials 6.1/7.0

AV-TEST에서는 7월부터 9월간 3개월 동안 테스트를 진행하였는데, 테스트에 사용된 보안 제품들은 당시에 제공되는 최신 버전을 사용하였다고 밝히고 있습니다. 특정제품의 경우 복수의 버전이 사용되는 이유는, 테스트 기간 내에 버전이 상승한 제품의 경우 최신 버전을 사용하기 때문입니다.

2-2. 테스트 항목 세부 정보

이번 분기의 샘플 수와 업계 평균은 아래와 같습니다.

	세부 항목	설명	샘플 수	업계평균
Protection	웹 상의 제로데이 공격 차단 - exploit code 등을 진단	이메일과 웹사이트 등 네트워크 상에서 이루어지는제로데이 취약점 공격을 사전에 얼마만큼 차단하는가를 측정	66개	77%
	실행되었거나 또는 실행되는 악성코드 차단	행동 기반 악성코드 진단 성능 테스트 (Dynamic Detection testing)	20개	50%
	악성코드 진단율 테스트	수동 검사를 통한 악성 코드 진단율 테스트, 2-3개월 이내에 발견된 악성코드를 사용	1,038,795	96%
	와일드 리스트 진단율 테스트	전세계 2개 지역 이상에서 발견되는 악성코드 (와일드 리스트)의 진단율 테스트	28,838개	100%
Repair	활성화된 와일드 리스트 샘플 악성 요소 제거 성능	활성화된 악성코드의 모든 요소에 대한 삭제 성능 진단 테스트	20개	80%
	악성코드의 요소들과 악성코드에 의해 변조된 시스템의 복구(교정) 능력 테스트	종합 치료 성능 테스트	20개,	50%
	의도적으로 숨겨진 활성화 악성코드 진단 테스트	루트킷 진단 테스트	18개	83%
	의도적으로 숨겨진 활성화 악성코드 삭제 테스트	루트킷 치료 테스트	18개	56%
usability	보안 제품으로 인해 시스템이 느려지는 일일 평균 시간 측정 테스트	퍼포먼스 테스트, 1일을 기준으로 보안 제품이 무설치된 시스템과 비교하여 느려진 시간을 측정	13개	236초
	정상 프로그램 오진율 테스트	시그니처를 이용 수동 검사시 오진율 테스트	530,462	3개
	정상 프로그램을 설치, 실행,사용 시에 일어나는 오진 테스트	행동 기반 오진 테스트	20개	경고 1회 차단 1회

테스트 세부 항목 정보

2분기와 마찬가지로 Protection 항목의 행동 기반 진단 테스트를 제외한 나머지 항목과 Repair 항목의 시그니처를 이용한 정상 프로그램 오진 테스트는 각각 7 · 8 · 9월마다 샘플을 다르게 하여 테스트하였습니다. 즉, 위 표의 샘플 수는 각 기간 별로 테스트에 사용된 누적 샘플입니다. 또한, Repair 항목의 행동 기반 오진 테스트에서는 단순 경고 알림과 동작 차단 항목을 구분하였습니다.

2-3. 테스트 세부 결과 정보

클릭시 원본 크기로 확인할 수 있습니다.

먼저 "Protection" 항목에서 우수한 제품들은 Kaspersky와 Pctools입니다. 전체 샘플에 대한 진단율도 우수하지만, 제로데이 샘플에 대한 진단, 행동 기반 진단 기능 등에서 골고루 높은 점수를 받았습니다.

"Repair" 항목에서 우수한 제품들은 PCtools와 Symantec입니다. 악성코드의 치료와 악성코드에 의한 변조 복구 등이 모두 우수했고, 루트킷 진단과 치료도 뛰어났습니다.

"Usability" 항목에서는 Bitdefender, F-Secure, MS, Symantec, AVAST, G-data 등이 높은 점수를 받았고, 특히, AVAST와 G-data가 6.0 만점을 획득하였습니다. 오진 문제는 제외하고, 퍼포먼스 부분에서 비트디펜더나 G-data의 퍼포먼스 항목이 무척 높게 나온 것은 개인적으로 이해가 잘 되지 않습니다. 멀티 코어 지원이나 멀티 슬레드 작업 등으로 퍼포먼스를 개선시킨 것인지는 모르겠으나, 테스트에 사용된 버전은 제 사양에서 매우 무겁게 동작하기 때문입니다.


개별 제품들의 결과를 몇 개만 살펴보겠습니다.

안티버는 지난 분기와 달리제로데이로 분류된 악성코드의 진단에서 비교적 선방하면서도 전체 샘플에 대한 진단율이 최고 수준으로 가장 높았습니다. 행동 기반 진단과 관련된 항목에서도 이전 테스트에 비해 성능이 개선된 것을 확인할 수 있었습니다. 이에 'Protection' 항목의 평균 점수는 지난 분기보다 올랐습니다. 물론 뛰어난 진단율과 비례하여 오진도 비교적 많았고, 치료 항목들과 루트킷 진단 부분에서 점수가 떨어진 것은 아쉽습니다.

AVAST는 와일드리스트 샘플의 미검출과 매우 낮은 행동 기반 진단 점수로 인해 'Protection' 항목의 점수가 무척 낮게 나왔습니다. usability 점수는 최고 점수를 받았지만, 안티 바이러스의 가장 중요한 항목에서 성능이 나쁘게 나왔기에 상당히 아쉬운 결과로 보입니다. 

AVG는 지난 분기 테스트와 마찬가지로 전체적인 항목에서 무난한 점수를 받았습니다. 치료 모듈의 개선은 여전히 필요한 것으로 보입니다.

ESET 제품은 고유의 장점(뛰어난 퍼포먼스, 사전 진단의 우수함)들이 점차 빛이 바래는 것 같은데, 행동 기반 진단의 추가 등 새로운 변화가 필요하지 않을까 싶습니다.

PCtools는 국내 지원이 어느 정도만 이루어져도 매우 쓸만한 제품이 되지 않을까 합니다. 사실 잘 알려지지 않아서 ThreatFire라는 강력한 행동 기반 진단 기능에 HIPS 기능까지 포함된 제품이기 때문입니다. 여전히 카스퍼스키같은 제품을 제외하고 가장 많은 수의 기능이 포함되어 있는 제품입니다. 게다가 퍼포먼스 부분도 갈수록 개선되고 있습니다. 시만텍과의 합병이 상당히 오래전에 이루어졌기에 언제까지 PCtools 제품군이 유지될지 모르겠지만, 지속적으로 발전되고 있기에 PCtools 제품이 계속 나왔으면 하는 바램입니다. 

 

---

- 이상입니다.