[AV-TEST] 안티 바이러스 종합 성능 테스트 (2011년 1분기)

독일의 전문 보안 연구 단체인 AV-TEST에서 2011년 1분기 안티 바이러스 종합 성능 테스트 결과를 발표하였습니다

▶ 관련글

- [AV-TEST] 안티 바이러스 종합 성능 테스트 <2010년 4분기>

▶ 출처 : http://www.av-test.org/certifications.php

---

독일의 민간 보안 연구 단체인 AV-TEST에서 2011년도 1분기 안티 바이러스 종합 성능 테스트 결과를 발표하였습니다.

01월부터 3월까지 총 3개월 동안 테스트가 진행되었으며, 윈도우 7 환경에서 22개의 제품이 테스트되었습니다. 그 중 17개 제품이 인증에 성공하였습니다.

※ 테스트에 대한 세부 설명은 2010년 4분기 자료를 참고바랍니다.

1. 인증 결과

평가 결과가 발표된 22개의 제품 중 17개의 제품은 인증에 성공하였고, 5개 제품은 실패하였습니다.

업계 평균치를 기준으로 해서 6점 만점에 0.5점 단위로 점수를 부여하였습니다. 각 항목에 대한 점수의 합이 11점이 넘어야만 "인증"을 획득할 수 있습니다. AVAST를 비롯해서 많은 수의 제품들이 작년 기준 상으로는 인증에 실패하기 때문에, 기준을 다소 완화한 것으로 보입니다. 작년 기준으로 인증을 부여하면 겨우 12개 업체만 인증에 성공합니다.

인증 결과와 각 항목에 대한 점수는 아래와 같습니다.

모든 항목에서 5점을 넘은 제품이 하나도 없습니다. 기준을 완화해야했을 만큼 이번 테스트가 비교적 어려웠던 것 같습니다.

먼저 전체 항목으로 볼 때 총점이 가장 높은 제품은 Bitdefender와 F-Secure(15.5점)입니다. 이들 제품의 뒤를 잇는 제품은 Symantec(15점) 입니다.

악성코드 진단에 관한 보호 항목에서 높은 점수(5.5이상)를 받은 제품들은 Bitdefender, Bullgaurd, F-secure, Kaspersky, Symantec 등입니다. 

복구 항목은 작년보다 가장 많이 떨어진 항목입니다. 그래서 기준을 5.0이상으로 잡았는데, Sunbelt, Symantec, Webroot 등의 제품이 좋은 결과를 받았습니다. 

마지막으로 편리성 항목에서 높은 점수를 받은 제품들은 Avast, Bitdefender, ESET, F-secure, MSE, Trend micro 등입니다.

ESET과 MSE 제품은 보호 항목이 상당히 낮게 결과가 나왔습니다. AVAST와 Avira(11.5)는 전반적으로 모든 항목에서 점수가 좋지 못했습니다. 위 3 제품이 Webroot같은 제품보다 보호 항목이 낮았다는 점이 상당히 충격입니다. 아래에서 살펴보겠지만 대부분 취약점 공격 차단과 실행 차단 항목에서 낮은 점수가 나왔기 때문입니다. 이전부터 지적되던 내용인데, 이번 테스트에서는 점수를 많이 떨어뜨렸습니다.

이번 분기에서는 CA와 Comodo, McAfee, Norman, PCtools 등이 탈락했습니다.

코모도와 피시툴즈는 보호 항목은 비교적 좋았지만(와일드 리스트 샘플 미검출이 존재), 다른 항목이 뒤떨어지면서 좀처럼 인증에 성공하지 못하고 있습니다. 시그니처 진단이 좀 더 강화되고, 치료 성능 향상과 오진율 감소 등의 변화가 필요합니다.

참고로 작년 기준으로 인증에 실패하는 제품들은 AVAST, AVIRA, BullGuard, MSE, Escan 입니다.

2. 테스트 세부 결과

2-1. 테스트 환경 및 테스트 참여 제품 정보

테스트에 사용된 OS는 윈도우 7 32bit입니다.

각 제품들은 설치시 제공되는 기본 설정 상태로 테스트에 참여하였습니다. 주목할 부분은 전통적인 성능 테스트처럼 네트워크 연결이 차단된 상황에서 테스트가 진행된 것이 아니라는 점입니다. 즉, 테스트 시점까지 DB 업데이트가 진행된 것은 물론, 클라우드 기능을 이용한 네트워크 진단 기능 또한 사용할 수 있습니다. 또한, 행동 기반 진단을 위한 모든 기능이 사용되고 있습니다.

테스트에 참여한 제품과 각 제품의 버전 정보는 아래와 같습니다. 세부적인 빌드까지는 포함이 안되어 있으나 테스트 기간 동안에 나온 최신 버전을 사용합니다. 신규 버전이 나왔을 경우 신규 버전으로 테스트가 진행됩니다.

• Avast: Free AntiVirus 5.0/6.0
• AVG Internet Securit 10.0
• AVIRA Premium Security Suite 10.0
• BitDefender Internet Security suite 2011
• BullGuard Internet Security 10.0
• CA Internet Security Suite 2011
• Comodo Internet Security Premium 5.0/5.3
• ESET Smart Security 4.2
• F-Secure Internet Security  2011
• G DATA Internet Security 2011
• Kaspersky Internet Security 2011
• McAfee Internet Security 2011
• Microsoft Security Essentials 2.0
• MicroWorld eScan Internet Security Suite 11.0
• Norman Security Suite 8.0 
• Panda Internet Security 2011
• PC Tools Internet Securiry 2011
• Sophos Endpoint Security and Control 9.5
• Sunbelt Vipre Antivirus 4.0
• Symantec Norton Internet Security 2011
• Trend Micro Titanium Internet Security 2011
• Webroot Internet Security Essentials 7.0

2. 테스트 항목 세부 정보

이번 분기의 샘플 수와 업계 평균은 아래와 같습니다.

	세부 항목	설명	샘플 수	업계평균
Protection	웹 상의 제로데이 공격 차단 - exploit code 등을 진단	이메일과 웹사이트 등 네트워크 상에서 이루어지는제로데이 취약점 공격을 사전에 얼마만큼 차단하는가를 측정	107개	84%
	실행되었거나 또는 실행되는 악성코드 차단	행동 기반 악성코드 진단 성능 테스트 (Dynamic Detection testing)	29개	62%
	악성코드 진단율 테스트	수동 검사를 통한 악성 코드 진단율 테스트, 2-3개월 이내에 발견된 악성코드를 사용	522,634	97%
	와일드 리스트 진단율 테스트	전세계 2개 지역 이상에서 발견되는 악성코드 (와일드 리스트)의 진단율 테스트	24,106개	100%
Repair	활성화된 와일드 리스트 샘플 악성 요소 제거 성능	활성화된 악성코드의 모든 요소에 대한 삭제 성능 진단 테스트	21개	86%
	악성코드의 요소들과 악성코드에 의해 변조된 시스템의 복구(교정) 능력 테스트	종합 치료 성능 테스트	21개,	48%
	의도적으로 숨겨진 활성화 악성코드 진단 테스트	루트킷 진단 테스트	14개	79%
	의도적으로 숨겨진 활성화 악성코드 삭제 테스트	루트킷 치료 테스트	14개	57%
usability	보안 제품으로 인해 시스템이 느려지는 일일 평균 시간 측정 테스트	퍼포먼스 테스트, 1일을 기준으로 보안 제품이 무설치된 시스템과 비교하여 느려진 시간을 측정	13개	171초
	정상 프로그램 오진율 테스트	시그니처를 이용 수동 검사시 오진율 테스트	841,767	7개
	정상 프로그램을 설치, 실행,사용 시에 일어나는 오진 테스트	행동 기반 오진 테스트	20개	경고 1회 차단 0회

 

작년에 비하여 시그니처 진단에 대한 샘플을 줄어들고, 취약점 공격 코드와 활성화 진단 샘플이 늘어난 것을 확인할 수 있습니다. 단순히 테스트 기간 동안에 해당 악성코드가 더 많이 발견된 것일 수도 있지만, 누적 샘플의 수를 점차 줄이고 있다는 점에서 다른 항목의 절대수 증가는 흥미롭습니다. 개인적으로도 누적 진단율보다 다른 두 항목이 더 중요하다고 봅니다. 

 

2-3. 테스트 세부 결과

클릭시 원본 크기로 볼 수 있습니다.

보호 항목에서 와일드 리스트 샘플에 대한 업체 평균은 100%입니다. 와일드 리스트를 진단 못하는 제품들은(코모도, 피시툴즈) 다소 문제가 있습니다. 와일드 리스트 진단은 안티 바이러스의 기본이라고 봅니다. 코모도가 연속적으로 진단에 실패한다는 점을 눈여겨 봐야할 듯 합니다. 

시그니처 진단을 제외하면 실행 진단에서 만점을 받는 코모도이기에 와일드 리스트 미진단은 상당히 아쉽습니다. 코모도와 유사하게 시그니처 진단에 다소 약한 대신 강력한 행동 기반 진단 능력을 갖춘 피시툴즈도 비슷한 결과를 보여줍니다.

그나저나 비트디펜더는 행동 기반 진단 기능이 점점 더 점수가 좋아지고 있는데, 내부적으로 얼마나 변화되었길래 동일 버전내에서 점수가 높아지는지 궁금합니다. 일단 행동분석기 등의 기능이 개선된 것으로 보이는데, 나중에 기회가 되면 살펴보고 싶습니다. 

Avast와 Avira는 누적 샘플과 와일드 리스트 샘플 진단은 여전히 뛰어난데, 실행 진단과 취약점 진단에서 상당히 약한 모습을 보여주고 있습니다. 행동 기반은 진단 성능이 떨어진다쳐도, 취약점 코드 항목은 다소 의아합니다. 이 두 제품들이 워낙 취약점 코드를 시그니처 진단으로 잘 잡아내기 때문입니다.

이번 테스트에서 가장 큰 폭의 점수 하락이 나타난 항목은 바로 치료(Repair)항목입니다. 사실 일반 악성코드 요소 치료 항목은 별 차이가 없는데, 루트킷 진단에서 점수가 많이 떨어졌습니다.

악성코드 치료 항목에서는 비트디펜더, 카스퍼스키, 판다, 시만텍, 웹루트 제품이 좋은 결과를 받았습니다. 루트킷 '치료'에서는 G-data, 카스퍼스키, 판다, VIPRE, 시만텍 등이 결과가 좋습니다.

오진이 거의 없는 제품들은 AVAST와 MSE가 뽑혔습니다. 반대로 오진이 많은 제품들은 코모도, 맥아피, 노만, VIPRE이며 시만텍도 의외로 높게 나타났습니다. 어베스트와 맥아피는 최근에 발표된 AV-Comparatives와 전혀 다른 결과를 보여주고 있어 흥미롭습니다.

퍼포먼스를 보면 트렌드마이크로, ESET, 비트디펜더, F-secure, 시만텍 정도가 괜찮은 수준입니다. 비트디펜더는 지난 테스트에 비하여 무척 가벼워졌습니다. 뭔가 빌드업으로 인해 변화된 것이 많은 것 같은데 개인적으로 무척 궁금합니다.

---

개인적으로 테스트가 어려워져야만 분별력이 있다고 생각합니다. 따라서 테스트 자체는 만족스러우나 기준을 완화해야할 필요는 있었나 싶습니다. 유명한 제품들이 게다가 전체 업체 중 절반 가까운 수가 인증에 실패했기 때문에 기준을 완화한 것인지는 모르겠습니다만, 기준이 왔다갔다 하는 부분은 다소 아쉽습니다. (사실 전체 점수를 평균내면 이번 테스트도 12점 정도 됩니다.)

- 이상입니다.