[AV-TEST] 안티 바이러스 종합 성능 테스트 (2012년 03, 04월)

독일의 전문 보안 연구 단체인 AV-TEST에서 2012년 03, 04월 안티 바이러스 종합 성능 테스트 결과를 발표하였습니다.

▶ 관련 글

- [AV-TEST] 안티 바이러스 종합 성능 테스트 (2012년 01, 02월) - 안랩 최초 참여

▶ 출처 : http://www.av-test.org

---

독일의 전문 보안 연구 단체인 AV-TEST에서 2012년 03, 04월 안티 바이러스 종합 성능 테스트 결과를 발표하였습니다. 이전 테스트에 이어 안랩이 또 다시 참여하였습니다.

이번 테스트는 윈도우 7(SP1 32비트) 환경에서 진행되었으며, 가정용 22개(20개 업체), 기업용 8개(8개 업체) 등 30개 제품이 테스트 되었습니다.

인증 결과 가정용 20개, 기업용 제품7개 제품이 인증에 성공하였습니다.

※ 테스트에 대한 세부 설명은 우측 메뉴의 AV-TEST 항목에서 2010년 4분기 자료와 2011년 7/8월 자료를 참고바랍니다.

1. 인증 결과

평가 결과가 발표된 30개의 제품 중 27개 제품만 인증에 성공하였습니다.

테스트 결과는 업계 평균치를 기준으로 해서 6점 만점에 0.5점 단위로 점수를 부여합니다. 총점은 18점이며, 각 항목에 대한 점수의 합이 11점이 넘어야만 "인증"을 획득할 수 있습니다. 

인증 결과와 각 항목에 대한 점수는 아래와 같습니다

가정용 제품 결과

기업용 제품 결과

(1) 총합 점수 순위

---

총합 분야별 최고 점수를 받은 제품은 아래와 같습니다.

총합 점수 순위
개인용 제품	점 수	기업용 제품	점 수
Bitdefnder Internet Security 2012	17.0	Symantec Endpoint Protection 12.1	16
Kaspersky Internet Security 2012	16.5	Kaspersky Endpoint Security 8.1 F-Secure Client Security 9.31	15.5
F-secure Internet Security 2012 G Data: Internet Security 2012	16.0	McAfee VirusScan Enterprise with EPO 8.8 Sophos Endpoint Security and Control 10.0	13.5

개인용 제품들 중에서 총합 점수가 가장 높은 제품은 이번에도 비트디펜더가 차지하였습니다. 역시 2위를 카스퍼스키가 차지하고 있고, 에프시큐어와 G-data가 그 뒤를 이었습니다.

기업용 제품에서는 오랜만에 시만텍 제품이 1위를 차지하였습니다. 이전 테스트에서 3위에 위치하였는데, 치료 항목의 개선으로 점수가 상승 카스퍼스키를 제치고 1위를 차지하였습니다. 2위는 카스퍼스키와 에프시큐어가 차지하였습니다. 3위는 소포스와 맥아피가 차지하였는데, 맥아피는 개인용 제품보다 더 좋은 성적을 거두어서 눈에 띕니다.

개인용 제품에서 인증에 실패한 제품은 안랩과 ESET 제품입니다. 안랩은 보호 항목(1.5)에서 점수가 매우 낮아 인증에 실패했는데, 특히 제로데이 공격 차단을 주로 테스트하는 실환경 테스트에서 평균에 크게 못미치는 점수를 받았습니다. 여기에 누적 진단율도 평균보다 떨어지는 점수를 보호 항목 최하위권에 위치하게 되었습니다. 누적 진단율 테스트의 경우 제가 리뷰한 다른 테스트들의 결과를 살펴볼 때 큰 문제가 되는 부분은 아닙니다만, 실환경 테스트에 대한 부분은 문제가 크다고 생각합니다. 제로 데이 공격에 사용되는 기법이 국내외 환경을 가리는 것이 아니기 때문입니다.

또 하나의 인증 실패 제품은 많은 매니아를 보유하고 있는 ESET 제품입니다. 항상 고질적으로 지적되던 치료 항목 부분에서 사상 최초로 0.5점을 받아 최종 점수 10점으로 인증에 실패하였습니다. 워낙 적은 수의 샘플을 이용하기 때문에 한 두개의 샘플 치료 실패라 점수 차이가 크게 발생하긴 합니다만, ESET 제품의 치료 성능이 타 제품에 비해 떨어짐에는 틀림이 없어 보입니다.

지난 번 테스트에서 11점으로 간신히 인증에 성공한 두 제품이 이번에는 결국 인증에 실패했는데, 다음 테스트에서는 개선된 모습이 보이길 희망합니다.

개인적으로 AVIRA 제품의 테스트가 이루어질 마다 보호 항목을 비롯한 모든 항목의 점수가 조금씩 상승하고 있는 것이 흥미로웠습니다. 초기 AV-TEST에서는 실환경 테스트 항목의 낮은 점수로 전체적으로 저조한 성적을 내고 있었으나, 이를 점차 극복하면서 상위권에 위치하고 있습니다.

또한, 만녁 낙제생이었던 Norman 제품의 회생도 눈에 띕니다. 최근 Vb100 테스트의 인증 결과도 준수한 편이며, 하위권이긴 해도 AV-TEST에서 꾸준히 인증에 통과하고 있습니다.


(2) 보호 항목 점수 순위

---

진단과 관련된 보호 항목의 점수 순위는 아래와 같습니다.

보호 항목 점수 순위
개인용 제품	점 수	기업용 제품	점 수
AVG Internet Security 2012 Bitdefnder Internet Security 2012 BullGuard Internet Security 12.0 F-secure Internet Security 2012 G Data Internet Security 2012 Norton Internet Security 2012	6.0	F-Secure Client Security 9.31	6.0
		Symantec Endpoint Protection12.1	5.5
		Kaspersky Endpoint Security 8.1	5.0

개인용 제품들은 만점을 받은 제품들은 모두 6개 제품입니다. 이들 제품들은 모두 실환경(웹 공격 차단 등) 테스트와 누적 진단율 테스트, 와일드 리스트 샘플 진단 등에서 최고 점수를 받았습니다. 카스퍼스키 제품이 아쉽게 5.5점을 받은 대신, AVG IS 제품이 만점을 받았습니다.

보호 항목의 최대 이변은 PCtools 제품입니다. 최초로 5.5점을 받았습니다. 실환경 테스트, 누적 진단율 모두 매우 준수한 편입니다. DB를 제공하고 있는 시만텍과 이제야 유사한 점수를 받았다는 점에서 앞으로의 테스트 결과가 궁금합니다.

기업용 제품들 중에서 에프시큐어가 최고 점수를 받았습니다. 시만텍과 카스퍼스키는 조금씩 점수가 떨어져 각각 2위 3위를 차지하였습니다.


진단율 항목에서의 꼴지는 이번에도 안랩이 차지하였습니다. 타 제품들의 경우 아무리 낮아도 4점대에 머무르고 있는데 1.5점이라는 점수는 너무하다 생각합니다. 타 제품의 누적 진단율을 따라온 것처럼 실환경 테스트 항목도 따라가기를 희망합니다.

기업용 제품 중에서는 MS의 기업용(ForeFront) 제품이 가장 낮은 점수를 받았으며, 트렌드 마이크로 제품이 그 뒤를 잇고 있습니다.


(3) 치료 항목 점수 순위

---

ESET이 사상 최저 점수를 받은 활성화된 악성코드에 대한 치료 항목의 점수 순위는 아래와 같습니다.

치료 항목 점수 순위
개인용 제품	점 수	기업용 제품	점 수
Bitdefnder Internet Security 2012 Kaspersky Internet Security 2012	6.0	Kaspersky Endpoint Security 8.1	6.0
G-Data Internet Security 2012 MicroSoft Security Essentials 2.1	5.5	McAfee Virus Scan Enterprise with EPO 8.8	5.5
F-secure Internet Security 2012 AVIRA Internet Security 2012	5.0	MicroSoft Forefront Endpoint Protecion 2010	5.0

치료 항목에서는 개인용 기업용 모두 통합해서 비트디펜더와 카스퍼스키가 만점을 받았습니다. 개인용 G-data와 MSE가 2위를 차지하였습니다. 놀랍게도 3위에 에프시큐어와 함께 AVIRA 제품이 포함되었습니다. 개인적으로는 매우 불만이지만 진단시 시스템 검사 정책 등 치료 항목에도 많은 노력을 기울이는 것이 보입니다. ESET 제품이 이점을 언제 쯤 개선할 지 궁금해집니다.

기업용 제품 중 치료 항목 1위는 카스퍼스키가 차지하였습니다. 이전에 전체적으로 기업용 제품들의 치료 항목 점수가 낮은 것과 달리 카스퍼스키는 만점을 받았으며, 2위 맥아피는 5.5점, 마이크로소프트 제품도 5점을 받아 순위는 바뀌었지만 점수 자체는 상승한 것을 확인할 수 있습니다.


(4) 유용성 항목 점수 순위

---

퍼포먼스와 오진과 관련된 유용성 항목에 관련된 점수 순위는 아래와 같습니다.

보호 항목 점수 순위
개인용 제품	점 수	기업용 제품	점 수
ESET Smart Security 5 Panda Cloud Free Edition 1.5.1	5.5	Symantec Endpoint Protection 12.1	6.0
		MicroSoft Forefront Endpoint Protecion 2010 Sophos Endpoint Security and Control 9.7	5.5
		F-Secure Client Security 9.31	5.0

유용성 항목은 지난 테스트보다 약간 점수가 하락하였습니다. 개인용 제품 중에서 만점을 받은 제품은 없었고, ESET 제품과 판다 클라우드 제품만이 5.5점을 받았습니다.

기업용 제품에서는 시만텍 제품이 1위를 차지하였습니다. 항상 순위권에 있던 카스퍼스키 제품은 순위권 밖으로 밀려났습니다.

유용성 항목에서 안랩 제품과 ESET 제품이 그나마 선전했습니다.

2. 테스트 세부 결과

2-1. 테스트 환경 및 테스트 참여 제품 정보

테스트에 사용된 OS는 윈도우 7 SP1 32bit입니다.

각 제품들은 설치시 제공되는 기본 설정 상태로 테스트에 참여하였습니다. 주목할 부분은 전통적인 성능 테스트처럼 네트워크 연결이 차단된 상황에서 테스트가 진행된 것이 아니라는 점입니다. 즉, 테스트 시점까지 DB 업데이트가 진행된 것은 물론, 클라우드 기능을 이용한 네트워크 진단 기능 또한 사용할 수 있습니다. 또한, 행동 기반 진단을 위한 모든 기능이 사용되고 있습니다.

테스트에 참여한 제품과 각 제품의 버전 정보는 아래와 같습니다. 세부적인 빌드까지는 포함이 안되어 있으나 테스트 기간 동안에 나온 최신 버전을 사용합니다. 신규 버전이 나왔을 경우 신규 버전으로 테스트가 진행됩니다.

- 가정용 제품
• AhnLab V3 Internet Security 8.0
• Avast Free AntiVirus 6.0
• AVG Anti-Virus Free Edition 2012
• AVG Internet Security 2012
• AVIRA Internet Security 2012
• BitDefender Internet Security suite 2012
• BullGuard Internet Security 12.0
• ESET Smart Security 5.0
• F-Secure Internet Security  2012
• G DATA Internet Security 2012
• GFI / Sunbelt Vipre Antivirus Premium 4.0
• Kaspersky Internet Security 2012
• McAfee Total Protection 2012
• Microsoft Security Essentials 2.1
• Norman Security Suite 9.0 
• Panda Cloud Antivirus Free 1.5.1
• Panda Internet Security 2012
• PC Tools Internet Securiry 2012
• Qihoo 360 Antivirus 2.0
• Symantec Norton Internet Security 2012
• Trend Micro Titanium Internet Security 2012
• Webroot Internet Security Essentials 8.0


- 기업용 제품
• F-Secure Client Security 9.31
• Kaspersky Endpoint Security 8.1
• McAfee VirusScan Enterprise with EPO 8.8
• Microsoft Forefront Endpoint Protection 2010
• Sophos Endpoint Security and Control 9.7
• Symantec Endpoint Protection 12.1
• Trend Micro Office Scan 10.6
• Webroot SecureAnywhere Endpoint Protection 8.0

2. 테스트 항목 세부 정보

11, 12월 테스트의 테스트 샘플 및 업체 평균은 아래와 같습니다. 업계평균치의 좌측은 개인용, 우측은 기업용의 평균치입니다. 가로친 부분은 바로 전 테스트의 평균치입니다. 

	세부 항목	설명	샘플 수	업계평균
Protection	웹 상의 제로데이 공격 차단 - exploit code 등을 진단	이메일과 웹사이트 등 네트워크 상에서 이루어지는 제로데이 취약점 공격 차단율을 측정	103개/ 104개	91%/90% (95/96%)
	악성코드 누적 진단율 테스트	수동 검사를 통한 악성 코드 진단율 테스트, 2-3개월 이내에 발견된 악성코드를 사용	284,818	98%/99% (97/98%)
	와일드 리스트 진단율 테스트	전세계 2개 지역 이상에서 발견되는 악성코드 (와일드 리스트)의 진단율 테스트	5,000개	100% (100%)
Repair	활성화된 와일드 리스트 샘플 (루트킷 포함) 진단 성능	루트킷을 포함한 활성화된 악성코드의 모든 요소에 대한 진단 성능 테스트	41개	100%/100% (100/97%)
	활성화된 와일드 리스트 샘플 (루트킷 포함) 삭제 성능	루트킷을 포함한 활성화된 악성코드의 모든 요소에 대한 삭제 성능 테스트	41개	93%/95% (100/79%)
	악성코드의 요소들과 악성코드에 의해 변조된 시스템의 복구(교정) 능력 테스트	종합 치료 성능 테스트	41개	73%/76% (54/67%)
usability	보안 제품으로 인해 시스템이 느려지는 일일 평균 시간 측정 테스트	퍼포먼스 테스트, 하루를 기준으로 보안 제품이 무설치된 시스템과 비교하여 느려진 시간을 측정	5개	6초/10초 (10/10초)
	정상 프로그램 오진율 테스트	시그니처를 이용 수동 검사시 오진율 테스트	505,040	6개/6개 (6/2개)
	정상 프로그램의 다운로드, 설치  시에 일어나는 오진 테스트	오진 측정 (경고)	22개	1회/1회 (1/1회)
	정상 프로그램의 다운로드, 설치  시에 일어나는 오진 테스트	오진 측정 (차단)	22개	1회/0회 (1/0회)

2-3. 테스트 세부 결과

클릭시 원본 크기로 볼 수 있습니다.

---

실환경 테스트는 대체 어떤 샘플을 사용하는지 궁금합니다. 개인적으로 알약은 어떤 결과가 나올지 무척 궁금하군요.


- 이상입니다.