[AV-TEST] 안티 바이러스 종합 성능 테스트 (2011년 11, 12월)

독일의 전문 보안 연구 단체인 AV-TEST에서 2011년 11, 12월 안티 바이러스 종합 성능 테스트 결과를 발표하였습니다.

▶ 관련글

- [AV-TEST] 안티 바이러스 종합 성능 테스트 (2011년 1분기)
- [AV-TEST] 안티 바이러스 종합 성능 테스트 (2011년 2분기)
- [AV-TEST] 안티 바이러스 종합 성능 테스트 (2011년 7, 8월)
- [AV-TEST] 안티 바이러스 종합 성능 테스트 (2011년 9, 10월)

- [AV-TEST] 안티 바이러스 종합 성능 테스트 <2010년 4분기> 

▶ 출처 : http://www.av-test.org/en/tests/test-reports/novdec-2011/

---

독일의 전문 보안 연구 단체인 AV-TEST에서 2011년 11, 12월 안티 바이러스 종합 성능 테스트 결과를 발표하였습니다.

이번 테스트는 윈도우 7(SP1 32비트) 환경에서 진행되었으며, 가정용 23개, 기업용 8개 등 총 23개 업체 31개 제품이 테스트 되었습니다. 그 중 30개 제품이 인증에 성공하였습니다.

※ 테스트에 대한 세부 설명은 2010년 4분기 자료와 2011년 7/8월 자료를 참고바랍니다.

1. 인증 결과

평가 결과가 발표된 31개의 제품 중 30개의 제품은 인증에 성공하였고, 1개 제품은 실패하였습니다.  이전에 인증에 실패한, Emisoft는 테스트에 참여하지 않았으며, k7과 Norman 제품은 인증에 성공, 그러나 구 CA 제품인 TotalDefense 제품은 이번에도 인증에 실패하였습니다.

업계 평균치를 기준으로 해서 6점 만점에 0.5점 단위로 점수를 부여합니다. 총점은 18점이며, 각 항목에 대한 점수의 합이 11점이 넘어야만 "인증"을 획득할 수 있습니다. 

인증 결과와 각 항목에 대한 점수는 아래와 같습니다

총합 분야별 최고 점수를 받은 제품은 아래와 같습니다.

총합 점수 순위
개인용 제품	점 수	기업용 제품	점 수
Kaspersky Internet Security 2012	17.0	Kaspersky Endpoint Security 8.1	17.5
Bitdefnder Internet Security 2012 F-secure Internet Security 2012	15.5	F-Secure Client Security 9.20	15.5
G Data Internet Security 2012 Norton Internet Security 2012	15.0	Sophos Endpoint Security and Control 9.7 Symantec Endpoint Protection 12.1	14

개인용 제품들 중에서 총합 점수가 가장 높은 제품은 카스퍼스키가 차지하였습니다. 테스트 사상 최초로 17점을 획득하였습니다. 진단과 치료 항목에서 만점을 받았고, 유용성 부분도 퍼포먼스 부분에서 점수를 깍인 것이지 오진이 없었기 때문에 실질적으로는 만점을 받았다고 봐도 무방합니다. AV-Comparatives에서도 좋은 성적으로 올해의 제품을 차지하였는데, AV-TEST에서도 상당히 뛰어난 성적을 보이고 있습니다.

카스퍼스키의 뒤를 이어 비트디펜더와, F-secure가 2위를 차지하였고, 그 뒤를 G-data와 노턴이 차지하고 있습니다.

기업용 제품에서도 카스퍼스키 제품의 강세가 보입니다. 개인용 제품보다 0.5점 높은 17.5점을 받았습니다. 개인용, 기업용 점수를 합해서 통계를 내어봐도 역대 최고 점수입니다.

그 뒤를 F-seucre와 Sophos, Symantec 등이 따르고 있습니다. Symantec은 기업용 제품의 점수가 상대적으로 낮지만 그래도 개인용(Norton), 기업용에 이름을 올려서 세계 1위 보안 업체라는 자존심을 지킨 것 같습니다.


진단과 관련된 보호 항목의 점수 순위는 아래와 같습니다.

보호 항목 점수 순위
개인용 제품	점 수	기업용 제품	점 수
Bitdefnder Internet Security 2012 BullGuard Internet Security 12.0 G Data Internet Security 2012 Kaspersky Internet Security 2012	6.0	Kaspersky Endpoint Security 8.1	6.0
		F-Secure Client Security 9.20	5.5
		Trend Micro Worry-Free Business Security 7.0 Symantec Endpoint Protection 12.1	5.0

개인용 제품들은 만점을 받은 제품들이 무려 4 제품이나 됩니다. 그래서 따로 등수를 책정하지 않았습니다. 이들 제품들은 모두 실환경(웹 공격 차단 등) 테스트와 누적 진단율 테스트, 와일드 리스트 샘플 진단 등에서 최고 점수를 받았습니다.

기업용 제품들 중에서 카스퍼스키가 역시 최고 점수를 받았습니다. 개인용 제품에 비하여 진단이 다소 안정적이기 때문에 누적 진단율이나 사전 진단율이 다소 떨어질 수 있는데, 이번 테스트에서는 큰 차이 없이 좋은 결과를 보여주었습니다. 트렌드 마이크로 제품의 'Worry-Free Business Security' 제품이 시만텍과 함께 3위를 차지하였는데, 이 제품은 클라우드 기술을 바탕으로한 제품으로 기존의 설치형 제품과는 다릅니다. 판다의 개인용 클라우드 제품을 기업용 제품으로 변환 시켰다 보시면 됩니다.

진단율 항목에서의 꼴지는 마이크로 소프트의 개인용(MSE), 기업용(ForeFront)가 차지하였습니다. 실 환경 테스트 항목에서 상대적으로 낮은 점수를 받은 것이 가장 큰 요인이었으며, 누적 진단율도 하위권에 머무르고 있습니다. 오진이 매우 적어 상당히 안정적이긴 하지만, 진단율 부분에서는 다소 뒤떨어지고 있습니다.

무료 제품과 유료 제품을 동시에 AVG는 무료 제품이 유료 제품에 비하여 실환경 테스트 점수가 낫게 나왔습니다. DB 업데이트의 차이와 url 차단 기능 등의 차이로 인해 나타난 결과로 보입니다. 이전 테스트와 달리 치료 항목은 비슷해졌습니다.


 활성화된 악성코드에 대한 치료와 관련된 치료 항목의 점수 순위는 아래와 같습니다.

치료 항목 점수 순위
개인용 제품	점 수	기업용 제품	점 수
Kaspersky Internet Security 2012	6.0	Kaspersky Endpoint Security 8.1	6.0
AVIRA Internet Security 2012 Bitdefnder Internet Security 2012 G Data Internet Security 2012 F-secure Internet Security 2012 MicroSoft Security Essentials 2.1	5.0	F-Secure Client Security 9.20	5.0
		MicroSoft Forefront Endpoint Protecion 2010 Sophos Endpoint Security and Control 9.7	4.5

치료 항목 역시 개인용, 기업용 모두 카스퍼스키가 만점을 받았습니다. 그 뒤를 개인용 에서는 AVIRA, Bitdefender, F-secure 등이 잇고 있습니다. 마이크로 소프트의 개인용(MSE)와 기업용(Forefront) 제품들도 모두 순위권에 위치하고 있습니다. 타 테스트에서도 비슷한 결과를 내놓고 있어, 진단율이 다소 미흡하나 비교적 안정적인 치료 성능이 장점인 제품으로 봐야할 듯 합니다. 

시만텍 제품이 치료 항목 순위에 밀린 것이 개인적으로는 다소 의외였습니다.

치료 항목의 꼴찌는 구 CA인 Total Defense였고, 그 뒤를 ESET과 Panda 클라우드, GFI 등이 따르고 있습니다. ESET의 미흡한 치료 성능은 개선이 참 안 되는 것 같습니다. 또한 기업용 제품에서는 트렌드 마이크로 제품들이 나란히 꼴찌를 차지하였습니다. 클라우드를 중점으로 해서 치료 점수가 떨어진 것인지, 단순히 치료 항목의 성능이 떨어지는 것인지는 알 수가 없습니다.


퍼포먼스와 오진과 관련된 유용성 항목에 관련된 점수 순위는 아래와 같습니다.

보호 항목 점수 순위
개인용 제품	점 수	기업용 제품	점 수
Norton Internet Security 2012 Panda Cloud Free Edition 1.5.1	5.5	MicroSoft Forefront Endpoint Protecion 2010	6.0
		Kaspersky Endpoint Security 8.1 Symantec Endpoint Protection 12.1 Sophos Endpoint Security and Control 9.7	5.5
		F-Secure Client Security 9.20	5.0

전반적으로 기업용 제품들의 유용성 점수가 개인용 제품들의 그것보다 조금 더 좋습니다. 이는 기업용 제품들이 개인용 제품에 비하여 퍼포먼스와 안정적인 진단(오진)을 더 중요시 하기 때문에 나타난 결과로 보입니다.

하지만 개인용 제품들도 5점을 받은 제품들이 십여개에 이릅니다. 오진은 다소 제품에 따라 차이나게 발생하고 있지만, 퍼포먼스 항목은 전반적으로 비슷해지고 있다고 생각합니다.

2. 테스트 세부 결과

2-1. 테스트 환경 및 테스트 참여 제품 정보

테스트에 사용된 OS는 윈도우 7 SP1 32bit입니다.

각 제품들은 설치시 제공되는 기본 설정 상태로 테스트에 참여하였습니다. 주목할 부분은 전통적인 성능 테스트처럼 네트워크 연결이 차단된 상황에서 테스트가 진행된 것이 아니라는 점입니다. 즉, 테스트 시점까지 DB 업데이트가 진행된 것은 물론, 클라우드 기능을 이용한 네트워크 진단 기능 또한 사용할 수 있습니다. 또한, 행동 기반 진단을 위한 모든 기능이 사용되고 있습니다.

테스트에 참여한 제품과 각 제품의 버전 정보는 아래와 같습니다. 세부적인 빌드까지는 포함이 안되어 있으나 테스트 기간 동안에 나온 최신 버전을 사용합니다. 신규 버전이 나왔을 경우 신규 버전으로 테스트가 진행됩니다.

- 가정용 제품
• Avast Free AntiVirus 6.0
• AVG Anti-Virus Free Edition 2012
• AVG Internet Security 2012
• AVIRA Internet Security 2012
• BitDefender Internet Security suite 2012
• BullGuard Internet Security 12.0
• ESET Smart Security 5.0
• F-Secure Internet Security  2012
• G DATA Internet Security 2012
• GFI / Sunbelt Vipre Antivirus Premium 4.0
• K7 Computing Total Security 11.1
• Kaspersky Internet Security 2012
• McAfee Total Protection 2012
• Microsoft Security Essentials 2.1
• Norman Security Suite 9.0 
• Panda Cloud Antivirus Free 1.5.1
• Panda Internet Security 2012
• PC Tools Internet Securiry 2012
• Qihoo 360 Antivirus 2.0
• Symantec Norton Internet Security 2012
• Total Defense Internet Security Suite 2011
• Trend Micro Titanium Internet Security 2012
• Webroot Internet Security Essentials 8.0


- 기업용 제품
• F-Secure Client Security 9.20
• Kaspersky Endpoint Security 8.1
• McAfee VirusScan Enterprise with EPO 8.8
• Microsoft Forefront Endpoint Protection 2010
• Sophos Endpoint Security and Control 9.7
• Symantec Endpoint Protection 12.1
• Trend Micro Office Scan 10.6
• Trend Micro Worry-Free Business Security 7.0

2. 테스트 항목 세부 정보

11, 12월 테스트의 테스트 샘플 및 업체 평균은 아래와 같습니다. 업계평균치의 좌측은 개인용, 우측은 기업용의 평균치입니다. 가로친 부분은 바로 전 테스트의 평균치입니다. 

	세부 항목	설명	샘플 수	업계평균
Protection	웹 상의 제로데이 공격 차단 - exploit code 등을 진단	이메일과 웹사이트 등 네트워크 상에서 이루어지는 제로데이 취약점 공격 차단율을 측정	92개	95%/97% (91/94%)
	악성코드 진단율 테스트	수동 검사를 통한 악성 코드 진단율 테스트, 2-3개월 이내에 발견된 악성코드를 사용	216,640	97%/98% (98/99%)
	와일드 리스트 진단율 테스트	전세계 2개 지역 이상에서 발견되는 악성코드 (와일드 리스트)의 진단율 테스트	5,000개	100% (100%)
Repair	활성화된 와일드 리스트 샘플 (루트킷 포함) 진단 성능	루트킷을 포함한 활성화된 악성코드의 모든 요소에 대한 진단 성능 테스트	38개	97%/97% (97/97%)
	활성화된 와일드 리스트 샘플 (루트킷 포함) 삭제 성능	루트킷을 포함한 활성화된 악성코드의 모든 요소에 대한 삭제 성능 테스트	38개	87%/87% (84/84%)
	악성코드의 요소들과 악성코드에 의해 변조된 시스템의 복구(교정) 능력 테스트	종합 치료 성능 테스트	38개	61%/68% (57/68%)
usability	보안 제품으로 인해 시스템이 느려지는 일일 평균 시간 측정 테스트	퍼포먼스 테스트, 1일을 기준으로 보안 제품이 무설치된 시스템과 비교하여 느려진 시간을 측정	5개	10초/10초 (10/10초)
	정상 프로그램 오진율 테스트	시그니처를 이용 수동 검사시 오진율 테스트	481,785	15개/3개 (12/3개)
	정상 프로그램의 다운로드, 설치  시에 일어나는 오진 테스트	오진 측정 (경고)	22개	1회/1회 (2/0회)
	정상 프로그램의 다운로드, 설치  시에 일어나는 오진 테스트	오진 측정 (차단)	22개	0회/0회 (1/0회)

개인용 제품들의 수가 많고 각 항목별 편차가 크다보니 기업용 제품들보다 평균 점수가 떨어져 보입니다. 하지만 일반적으로 진단 항목은 개인용 제품들이 높습니다. 그러나 유용성 부분은 기업용 제품들이 전반적으로 뛰어납니다.

2-3. 테스트 세부 결과

클릭시 원본 크기로 볼 수 있습니다.

---

트렌드 마이크로의 서버용 제품인 Office Scan이 추가되었습니다. 엔드 포인트용 제품 Worry-free나 개인용 제품보다는 진단율이 다소 떨어집니다. 서버용 시장에서는 트렌드 마이크로 제품이 큰 점유율을 차지하고 있다고 해서 성능이 궁금했는데, 이번 테스트가 성능을 알아볼 좋은 기회가 된 것 같습니다.


- 이상입니다.