[AV-TEST] 안티 바이러스 종합 성능 테스트 (2012년 01, 02월) - 안랩 최초 참여

독일의 전문 보안 연구 단체인 AV-TEST에서 2012년 01, 02월 안티 바이러스 종합 성능 테스트 결과를 발표하였습니다.

▶ 관련글

- [AV-TEST] AV-TEST AWARD 2011 - 2011년도 테스트 종합 결과

▶ 출처 : http://www.av-test.org

---

독일의 전문 보안 연구 단체인 AV-TEST에서 2012년 01, 02월 안티 바이러스 종합 성능 테스트 결과를 발표하였습니다. 올해 최초 테스트 결과 공개라는 점도 흥미롭지만, 국내 최대 보안 기업인 안랩이 최초로 참여했다는 점이 매우 관심을 끌게 하고 있습니다. 제가 알기로는 3대 인증 테스트 외에 권위있는 보안 제품 테스트에는 처음 참여하고 있습니다. 결과가 어떤지는 아래에서 자세히 살펴보도록 하겠습니다.

이번 테스트는 윈도우 XP(SP3 32비트) 환경에서 진행되었으며, 가정용 23개(21개 업체), 기업용 8개(7개 업체) 등 31개 제품이 테스트 되었으며, 모든 제품들이 인증에 성공하였습니다.

※ 테스트에 대한 세부 설명은 우측 메뉴의 AV-TEST 항목에서 2010년 4분기 자료와 2011년 7/8월 자료를 참고바랍니다.

1. 인증 결과

평가 결과가 발표된 31개의 제품 중 31개 제품 모두가 인증에 성공하였습니다. 이전에 인증에 실패한 구 CA 제품인 TotalDefense 제품은 참여 자체를 하지 않았습니다.

테스트 결과는 업계 평균치를 기준으로 해서 6점 만점에 0.5점 단위로 점수를 부여합니다. 총점은 18점이며, 각 항목에 대한 점수의 합이 11점이 넘어야만 "인증"을 획득할 수 있습니다. 

인증 결과와 각 항목에 대한 점수는 아래와 같습니다

총합 분야별 최고 점수를 받은 제품은 아래와 같습니다.

총합 점수 순위
개인용 제품	점 수	기업용 제품	점 수
Bitdefnder Internet Security 2012	17.0	Kaspersky Endpoint Security 8.1	16
Kaspersky Internet Security 2012	16.5	F-Secure Client Security9.20&9.30	14.5
F-secure Internet Security 2012	15.5	Symantec Endpoint Protection 12.1	13.5

인증은 모든 제품들이 받았지만 전체적으로 점수는 하락했습니다.

개인용 제품들 중에서 총합 점수가 가장 높은 제품은 지난 최고 점수와 동수인 17점을 받은 비트디펜더가 차지하였습니다. 지난 테스트 1위이자 2011년 최고 제품으로 뽑혔던 카스퍼스키는 2위로 떨어졌습니다. 

비트디펜더는 여러모로 지난 테스트의 카스퍼스키와 비슷합니다. 진단과 치료 항목에서 만점 또는 우수한 점수를 받았고, 유용성 부분도 오진없이 퍼포먼스 때문에 점수가 떨어진 것이 거의 똑같습니다. 카스퍼스키는 치료 항목에서 점수가 떨어졌고, 이번에는 오진까지 나타나서 1위 자리를 빼앗겼습니다.

비트디펜더와 카스퍼스키의 뒤를 이어 F-secure가 차지하였고, 그 뒤를 AVG IS, 노턴(15)이 차지하고 있습니다. 판다(IS)는 약간 뒤떨어진 14.5점을 받았습니다.

기업용 제품에서는 카스퍼스키가 큰 점수 차이로 1위를 차지하였습니다.  그 뒤를 F-seucre와 Sophos, Symantec 등이 따르고 있습니다. 카스퍼스키와 에프시큐어의 강세는 여전한 것 같습니다.

안랩의 경우 첫술에 배부를 수는 없겠으나 전체적으로 실망스런 점수를 받았습니다. 모든 제품들이 인증을 받는 상황인지라 인증 자체보다는 총합 점수와 세부 항목들의 결과가 중요한데, 대부분이 업체 평균보다 낮은 점수를 보이고 있습니다. 특히, 진단 항목에서 최저 점수를 받았으며 나머지 항목들도 낮은 점수를 받아 총점 11점으로 정말 간신히 인증에 성공했습니다.

11점을 받은 업체가 또 하나 있는데, 최근에 리뷰한 제품인 ESET입니다. 이 제품은 치료 항목 때문에 총점이 낮은 상태인데, 글로벌하게 장사하는 업체치고는 부족한 부분의 개선이 상당히 느린 것 같습니다.


진단과 관련된 보호 항목의 점수 순위는 아래와 같습니다.

보호 항목 점수 순위
개인용 제품	점 수	기업용 제품	점 수
Bitdefnder Internet Security 2012 BullGuard Internet Security 12.0 G Data Internet Security 2012 Kaspersky Internet Security 2012 Norton Internet Security 2012	6.0	Kaspersky Endpoint Security 8.1 Symantec Endpoint Protection12.1	6.0
		McAfee Virus Scan Enterprise with EPO 8.8	5.5
		F-Secure Client Security 9.20	5.0

개인용 제품들은 만점을 받은 제품들이 지난 테스트보다 하나 늘어 5개 제품이 되었습니다. 이들 제품들은 모두 실환경(웹 공격 차단 등) 테스트와 누적 진단율 테스트, 와일드 리스트 샘플 진단 등에서 최고 점수를 받았습니다.

기업용 제품들 중에서 카스퍼스키와 시만텍이 최고 점수를 받았습니다. 흥미로운 점은 항상 순위권 밖에 있던 맥아피 제품이 진단 항목에서 2위로 치고 올라왔다는 점입니다. 타 제품들이 점수가 대체로 하락하는 경향을 보이고 있는 것과 반대여서 눈에 띄고 있습니다. 3위는 에프시큐어가 차지하였습니다.


진단율 항목에서의 꼴지는 아쉽게도 국내 보안 업체인 안랩이 차지하였습니다. 아래 세부 정보를 보시면 아시겠지만, 와일드 리스트 샘플은 모두 진단하였으나 누적 샘플 진단율이 평균보다 낮았고, 제로데이 공격 등을 테스트하는 실 환경 테스트 항목의 점수가 매우 낮게 나와서 부끄럽게도 최저 순위를 차지하게 되었습니다. 개인적으로 ASD 기능이 도입된 이후에도 웹 상에서 악성코드를 유포시키는데 사용되는 중간 스크립트 코드에 대한 진단이나 대응이 여전히 부족하다 생각하고 있는데, 이 부분이 테스트에서 드러난 것은 아닌가 싶습니다.

기업용 제품 중에서는 MS의 기업용(ForeFront) 제품이 가장 낮은 점수를 받았습니다. 역시 실 환경 테스트 점수가 크게 작용을 했습니다.


활성화된 악성코드에 대한 치료와 관련된 치료 항목의 점수 순위는 아래와 같습니다.

치료 항목 점수 순위
개인용 제품	점 수	기업용 제품	점 수
Bitdefnder Internet Security 2012	6.0	Kaspersky Endpoint Security 8.1	5.0
Kaspersky Internet Security 2012	5.5	MicroSoft Forefront Endpoint Protecion 2010	4.5
MicroSoft Security Essentials 2.1	5.0	McAfee Virus Scan Enterprise with EPO 8.8	4.0

치료 항목에서는 개인용 기업용 모두 통합해서 비트디펜더만 만점을 받았습니다. 개인용 카스퍼스키는 2위를 차지하였으나 기업용 제품은 5점을 받아 1위를 차지하였습니다. 

MS의 제품들은 지난 테스트와 마찬가지로 개인용, 기업용 제품들이 모두 순위권에 위치하고 있습니다. 기업용 제품에서 맥아피의 모습이 또 보이는 점이 흥미롭습니다.

기업용 제품들의 치료 항목 점수가 개인용 제품들에 비해 상대적으로 낮은 것이 눈에 띕니다. 치료 항목의 꼴찌는 ESET 제품이 차지하였습니다. 치료 항목에서 안랩은 4.5점을 받아 나름 선전한 것으로 보입니다.


퍼포먼스와 오진과 관련된 유용성 항목에 관련된 점수 순위는 아래와 같습니다.

보호 항목 점수 순위
개인용 제품	점 수	기업용 제품	점 수
AVG Free & IS 2012 ESET Smart Security 5 F-secure Internet Security 2012 Norman Security Suite Pro 9.0 Panda Cloud Free Edition 1.5.1	5.5	F-Secure Client Security 9.20&9.30 MicroSoft Forefront Endpoint Protecion 2010	6.0
		Sophos Endpoint Security and Control 9.7	5.5
		Kaspersky Endpoint Security 8.1 Symantec Endpoint Protection 12.1 Trend Micro Worry-Free Business Security 7.0	5.0

지난 테스트와 비슷합니다. 개인용 제품들은 이번 테스트에서는 최고 점수(6점)만 없을 뿐 상위 평균은 기업용 제품과 비슷한 수준입니다. 물론 전체 평균은 여전히 기업용 제품이 더 뛰어납니다. 

2. 테스트 세부 결과

2-1. 테스트 환경 및 테스트 참여 제품 정보

테스트에 사용된 OS는 윈도우 XP SP3 32bit입니다.

각 제품들은 설치시 제공되는 기본 설정 상태로 테스트에 참여하였습니다. 주목할 부분은 전통적인 성능 테스트처럼 네트워크 연결이 차단된 상황에서 테스트가 진행된 것이 아니라는 점입니다. 즉, 테스트 시점까지 DB 업데이트가 진행된 것은 물론, 클라우드 기능을 이용한 네트워크 진단 기능 또한 사용할 수 있습니다. 또한, 행동 기반 진단을 위한 모든 기능이 사용되고 있습니다.

테스트에 참여한 제품과 각 제품의 버전 정보는 아래와 같습니다. 세부적인 빌드까지는 포함이 안되어 있으나 테스트 기간 동안에 나온 최신 버전을 사용합니다. 신규 버전이 나왔을 경우 신규 버전으로 테스트가 진행됩니다.

- 가정용 제품
• AhnLab V3 Internet Security 8.0
• Avast Free AntiVirus 6.0
• AVG Anti-Virus Free Edition 2012
• AVG Internet Security 2012
• AVIRA Internet Security 2012
• BitDefender Internet Security suite 2012
• BullGuard Internet Security 12.0
• ESET Smart Security 5.0
• F-Secure Internet Security  2012
• G DATA Internet Security 2012
• GFI / Sunbelt Vipre Antivirus Premium 4.0
• K7 Computing Total Security 11.1
• Kaspersky Internet Security 2012
• McAfee Total Protection 2012
• Microsoft Security Essentials 2.1
• Norman Security Suite 9.0 
• Panda Cloud Antivirus Free 1.5.1
• Panda Internet Security 2012
• PC Tools Internet Securiry 2012
• Qihoo 360 Antivirus 2.0
• Symantec Norton Internet Security 2012
• Trend Micro Titanium Internet Security 2012
• Webroot Internet Security Essentials 8.0


- 기업용 제품
• F-Secure Client Security 9.20 & 9.30
• Kaspersky Endpoint Security 8.1
• McAfee VirusScan Enterprise with EPO 8.8
• Microsoft Forefront Endpoint Protection 2010
• Sophos Endpoint Security and Control 9.7
• Symantec Endpoint Protection 12.1
• Trend Micro Office Scan 10.6
• Trend Micro Worry-Free Business Security 7.0

2. 테스트 항목 세부 정보

11, 12월 테스트의 테스트 샘플 및 업체 평균은 아래와 같습니다. 업계평균치의 좌측은 개인용, 우측은 기업용의 평균치입니다. 가로친 부분은 바로 전 테스트의 평균치입니다. 

	세부 항목	설명	샘플 수	업계평균
Protection	웹 상의 제로데이 공격 차단 - exploit code 등을 진단	이메일과 웹사이트 등 네트워크 상에서 이루어지는 제로데이 취약점 공격 차단율을 측정	97개	95%/96% (95/97%)
	악성코드 누적 진단율 테스트	수동 검사를 통한 악성 코드 진단율 테스트, 2-3개월 이내에 발견된 악성코드를 사용	229,183	97%/98% (97/98%)
	와일드 리스트 진단율 테스트	전세계 2개 지역 이상에서 발견되는 악성코드 (와일드 리스트)의 진단율 테스트	5,000개	100% (100%)
Repair	활성화된 와일드 리스트 샘플 (루트킷 포함) 진단 성능	루트킷을 포함한 활성화된 악성코드의 모든 요소에 대한 진단 성능 테스트	39개	100%/97% (97/97%)
	활성화된 와일드 리스트 샘플 (루트킷 포함) 삭제 성능	루트킷을 포함한 활성화된 악성코드의 모든 요소에 대한 삭제 성능 테스트	39개	100%/79% (87/87%)
	악성코드의 요소들과 악성코드에 의해 변조된 시스템의 복구(교정) 능력 테스트	종합 치료 성능 테스트	39개	54%/67% (61/68%)
usability	보안 제품으로 인해 시스템이 느려지는 일일 평균 시간 측정 테스트	퍼포먼스 테스트, 1일을 기준으로 보안 제품이 무설치된 시스템과 비교하여 느려진 시간을 측정	5개	10초/10초 (10/10초)
	정상 프로그램 오진율 테스트	시그니처를 이용 수동 검사시 오진율 테스트	516,545	6개/2개 (15/3개)
	정상 프로그램의 다운로드, 설치  시에 일어나는 오진 테스트	오진 측정 (경고)	24개	1회/1회 (1/1회)
	정상 프로그램의 다운로드, 설치  시에 일어나는 오진 테스트	오진 측정 (차단)	24개	1회/0회 (0/0회)

개인용 제품들의 수가 많고 각 항목별 편차가 크다보니 기업용 제품들보다 평균 점수가 떨어져 보입니다. 하지만 일반적으로 진단 항목은 개인용 제품들이 높습니다. 그러나 유용성 부분은 기업용 제품들이 전반적으로 뛰어납니다.

2-3. 테스트 세부 결과

클릭시 원본 크기로 볼 수 있습니다.

---

안랩이 참여했으니 다음은 알약 차례인가요??


- 이상입니다.