[AV-TEST] 안티 바이러스 종합 성능 테스트 <2010년 4분기>

독일의 전문 보안 연구 단체인 AV-TEST에서 2010년 4분기 안티 바이러스 종합 성능 테스트 결과를 발표하였습니다.

▶ AV-TEST 종합 테스트 모음

- [AV-TEST] 안티 바이러스 종합 성능 테스트 <2010년 2분기>
- [AV-TEST] 안티 바이러스 종합 성능 테스트 <2010년 3분기>

---

독일의 민간 보안 연구 단체인 AV-TEST에서 2010년도 4분기 안티 바이러스 종합 성능 테스트 결과를 발표하였습니다.

10월부터 12월까지 총 3개월 동안 테스트가 진행되었으며, 윈도우 비스타 환경에서 23개의 제품이 테스트되었습니다. 그 중 한개 제품을 제외한 22개 제품의 결과가 공개되었습니다.

테스트에 대한 세부 설명은 2분기 자료에서 밝혔으나, 일부 테스트 항목에 대해서 다시 한번 설명해보도록 하겠습니다.

1. 테스트 최종 결과

평가 결과가 발표된 22개의 제품 중 18개의 제품은 인증에 성공하였고, 4개 제품은 실패하였습니다.

업계 평균치를 기준으로 해서 6점 만점에 0.5점 단위로 점수를 부여하였습니다. 각 항목에 대한 점수의 합이 12점이 넘어야만 "인증"을 획득할 수 있습니다.

인증 결과와 각 항목에 대한 점수는 아래와 같습니다.

종합 결과 - 인증

모든 항목에서 5점을 넘은 제품은 F-secure, Symantec 등 두 제품뿐입니다.

보호 항목에서 높은 점수(5.5이상)를 받은 제품들은 Bitdefender, Bullgaurd, Kaspersky, Panda 등이며, 복구 항목에서는 Kaspersky, Bitdefender, Symantec 등이고, 마지막 편리성 항목에서 높은 점수를 받은 제품들은 F-secure, Avast, Escan, Trendmicro 등입니다.

전체 항목으로 볼 때 총점이 가장 높은 제품은 F-Secure(16점)입니다. 이는 AV-Comparatvies에서 발표한 올해의 제품과 동일한 결과를 보여주고 있습니다. 비록 특정 부분에서 가장 높은 성능을 보여주는 것은 아니지만, 안정성과 진단율, 퍼포먼스를 균형있게 갖고 있기 때문에 가능한 것으로 보입니다. F-seucre뒤를 잇는 제들은 Kaspersky, Symantec 등입니다.

무료 제품으로 유명한 'A' 시리즈 3총사(AVAST, AVG, Avira)는 보호 항목에서 제로데이 공격 차단이 부족하던가, 악성코드 실행 진단에서 미흡하던가 하는 이유로 보호 항목에서 점수를 깍이고 있습니다. 시그니처 진단으로 깍인 점수를 만회하고 있는데, 다행히 AV-TEST의 점수 배분율이 시그니처 진단 쪽이 높아서 그러저럭 점수가 나오고는 있습니다. 하지만 최근에는 제로데이 진단과 실행 진단이 더욱더 중요하기 때문에 개선이 필요하다 생각합니다.

이번 분기에서는 CA와 Comodo, McAfee, Norman 등이 탈락했으며, 지난 분기 탈락한 Microsoft(Security Essentials)은 총점 12점으로 간신히 인증에 성공하였습니다.

2. 테스트 세부 결과

2-1. 테스트 환경 및 테스트 참여 제품 정보

테스트에 사용된 OS는 윈도우 Vista sp2 32bit입니다.

각 제품들은 설치시 제공되는 기본 설정 상태로 테스트에 참여하였습니다. 주목할 부분은 전통적인 성능 테스트처럼 네트워크 연결이 차단된 상황에서 테스트가 진행된 것이 아니라는 점입니다. 즉, 테스트 시점까지 DB 업데이트가 진행된 것은 물론, 클라우드 기능을 이용한 네트워크 진단 기능 또한 사용할 수 있습니다. 또한, 행동 기반 진단을 위한 모든 기능이 사용되고 있습니다.


테스트에 참여한 제품과 각 제품의 버전 정보는 아래와 같습니다.

• Avast: Free AntiVirus 5.0            
• AVG Internet Securit 10.0
• AVIRA Premium Security Suite 10.0
• BitDefender Internet Security suite 2011
• BullGuard Internet Security 10.0
• CA Internet Security Suite 2011
• Comodo Internet Security Premium 5.0
• ESET Smart Security 4.2
• F-Secure Internet Security  2011
• G DATA Internet Security 2011
• Kaspersky Internet Security 2011
• McAfee Internet Security 2011
• Microsoft Security Essentials 1.0
• MicroWorld eScan Internet Security Suite 11.0
• Norman Security Suite 8.0 
• Panda Internet Security 2011
• PC Tools Internet Securiry 2011
• Sophos Endpoint Security and Control 9.5
• Sunbelt Vipre Antivirus 4.0
• Symantec Norton Internet Security 2011
• Trend Micro Titanium Internet Security 2011
• Webroot Internet Security Essentials 7.0

2. 테스트 항목 세부 정보

이번 분기의 샘플 수와 업계 평균은 아래와 같습니다.

	세부 항목	설명	샘플 수	업계평균
Protection	웹 상의 제로데이 공격 차단 - exploit code 등을 진단	이메일과 웹사이트 등 네트워크 상에서 이루어지는제로데이 취약점 공격을 사전에 얼마만큼 차단하는가를 측정	72개	82%
	실행되었거나 또는 실행되는 악성코드 차단	행동 기반 악성코드 진단 성능 테스트 (Dynamic Detection testing)	20개	55%
	악성코드 진단율 테스트	수동 검사를 통한 악성 코드 진단율 테스트, 2-3개월 이내에 발견된 악성코드를 사용	642,693	96%
	와일드 리스트 진단율 테스트	전세계 2개 지역 이상에서 발견되는 악성코드 (와일드 리스트)의 진단율 테스트	30,532개	100%
Repair	활성화된 와일드 리스트 샘플 악성 요소 제거 성능	활성화된 악성코드의 모든 요소에 대한 삭제 성능 진단 테스트	22개	82%
	악성코드의 요소들과 악성코드에 의해 변조된 시스템의 복구(교정) 능력 테스트	종합 치료 성능 테스트	22개,	45%
	의도적으로 숨겨진 활성화 악성코드 진단 테스트	루트킷 진단 테스트	10개	100%
	의도적으로 숨겨진 활성화 악성코드 삭제 테스트	루트킷 치료 테스트	10개	60%
usability	보안 제품으로 인해 시스템이 느려지는 일일 평균 시간 측정 테스트	퍼포먼스 테스트, 1일을 기준으로 보안 제품이 무설치된 시스템과 비교하여 느려진 시간을 측정	13개	221초
	정상 프로그램 오진율 테스트	시그니처를 이용 수동 검사시 오진율 테스트	530,690	7개
	정상 프로그램을 설치, 실행,사용 시에 일어나는 오진 테스트	행동 기반 오진 테스트	20개	경고 1회 차단 1회

테스트 세부 항목 정보

2, 3분기와 마찬가지로 Protection 항목의 행동 기반 진단 테스트를 제외한 나머지 항목과 Repair 항목의 시그니처를 이용한 정상 프로그램 오진 테스트는 각각 10 · 11 · 12월마다 샘플을 다르게 하여 테스트하였습니다. 즉, 위 표의 샘플 수는 각 기간 별로 테스트에 사용된 누적 샘플입니다. 또한, Repair 항목의 행동 기반 오진 테스트에서는 단순 경고 알림과 동작 차단 항목을 구분하였습니다.

여기서 보호(Protection)항목에 관하여 추가로 설명을 해보고자 합니다. 이전 AV-Comparatives 글 말미에서도  밝혔지만 AV-TEST의 Dynamic test는 AV-Comparatives의 Dynamic test와 차이가 있습니다.

먼저 아래의 도표를 보겠습니다. 이는 AV-TEST에서 악성코드의 시스템 침입 수준과 자신들의 테스트 항목을 연관시켜 표현한 도표로 홈페이지에서 제공되고 있습니다.

클릭시 원본 크기로 볼 수 있습니다.

위 도표는 아주 명쾌하게 각각의 테스트 항목을 표현하고 있습니다. 더 이상 언급할 것 없이 AV-TEST와 AV-Comparatives의 테스트 항목의 차이는 아래의 그림만 보셔도 명확하게 이해가 되시리라 생각합니다.  더 자세한 설명을 원하시는 분은 위 AV-Comparatives 글을 참고 바랍니다.

2-3. 테스트 세부 결과

클릭시 원본 크기로 볼 수 있습니다.

보호 항목에서 와일드 리스트 샘플에 대한 업체 평균은 100%입니다. 따라서와일드 리스트 샘플을 진단 못한 제품은 감점이 다소 컸을 것으로 보입니다.

이로 인해 코모도 제품의 경우 제로 데이 진단과 실행 진단에서 뛰어난 점수를 받고서도 수동 검사 진단과 와일드 리스트 미검출로 인해 보호 항목의 점수가 매우 낮게 나왔습니다. 이와 반대되는 경우가 Avst와 Avira로 두 개의 시그니처 진단(수동 검사 세트, 와일드 리스트)의 진단율은 평균을 상외하는 무척 높은 성능을 보여주고 있지만, 실행 진단에서 낮은 점수를 받아 중간 정도의 점수를 받고 있습니다.

코모도는 시그니처 진단에 대한 개선이 필요하고 안티버와 어베스트는 자체적으로 갖고 있는 Behavioral Blocker의 성능을 높일 필요가 있어보입니다.

코모도는 치료율 항목에서도 상당히 개선이 필요한 것으로 나타났습니다. 활성화된 악성코드 외에 다른 악성코드 컴포넌트 및 시스템 변조 항목을 제거/복구하는데 Bullguard, G-data와 함께 최하위권에 머무리고 있고, 활성화된 악성코드 치료도 업체 평균에 못미치고 있습니다.

여기서 HIPS를 비롯한 사전 방역은 매우 뛰어나지만 시그니처 진단 및 치료에 대해서는 개선이 필요함을 엿볼 수 있습니다. 이 부분은 다른 테스트의 결과와 비슷합니다. 5버전까지 왔지만 아직 안티 바이러스 항목은 전통적인 업체에 비해 많이 부족한 것 같습니다.

치료 항목에서는 비트디펜더, 카스퍼스키, 시만텍 등이 뛰어났고, 의외로 웹루트 제품도 비교적 뛰어난 성능을 보여주고 있습니다.

지난 분기와 달리 오진이 없는 제품이 없습니다. 오진이 거의 없는 제품들도 12월달 오진 검사 세트에서 오진이 발생했습니다. 판다와 노만의 경우 오진으로 인해 점수가 크게 깍였는데, 맥아피도 마찬가지지만 퍼포먼스 부분에서 점수를 만회했습니다.

테스트 상에서 퍼포먼스와 오진, 실행 진단 오진 등에 균일하게 점수를 배분하는 것 같아보입니다. 그러나 오진과 퍼포먼스를 비교하자면, 당연히 오진 항목이 좀 더 중요한 요소라고 생각합니다. 사실상 제품들의 퍼포먼스차가 그리 크지 않고, 대부분의 시스템이 해당 제품들을 무리 없이 돌릴만큼 상향 평준화 되었기 때문입니다. 

테스트 상에서는 오진이 판다보다 높은 맥아피가 편의성 항목에서 판다보다 높은 점수를 받고 있습니다. 이부분은 다소 문제가 있다고 봅니다.개인적으로는 퍼포먼스 부분은 따로 빼던가, 점수 배분을 오진 항목에 좀 더 하는 방법 등으로 테스트를 개선해야한다고 생각합니다.

---

이번 테스트 결과도 상당히 흥미로웠습니다. 특히, 총점 기준으로 가장 뛰어난 제품이 F-secure였다는 점이 특별했던 것 같습니다.

개인적인 관점에서는 보호 항목이 1순위, 치료 항목이 2순위, 편의성 항목이 3순위이기에 최고의 제품은 다른 제품이 되겠지만, 남들에게 추천할만한 제품은 역시 F-seure처럼 균형잡힌 제품이 가장 좋은 것 같습니다. 물론 국내에서 판매되지 않기 때문에 구매 추천은 못합니다...

여하튼 올해에도 F-secure, 시만텍, 카스퍼스키처럼 균형잡힌 제품들과, 진단율 또는 행동 기반 진단 등 특정 항목에서 장점을 갖고 있는 제품들의 경쟁이 재미있을 것 같습니다.

그리고 국내 제품들도 해당 테스트에 참여해보면 어떨까 하는 생각이 들었습니다. 최근에 새로운 기능들도 추가되고 진단율에 대해서도 많은 개선이 있었던 만큼, 외국 환경에서도 최고는 아니더라도 비교적 좋은 성적을 거두지 않을까 생각됩니다. 특히나 알약과 v3의 대결이 궁금하군요. ㅎㅎ

- 이상입니다.