[VB100, RAP] : 04월(2011) 바이러스 블러틴 테스트 결과 - 전체 보고서

전체 결과가 공개된 2011년 04월 VB100, RAP 테스트의 세부 결과를 살펴보겠습니다.

▶ 관련글

- [VB100, RAP] : 04월(2011) 바이러스 블러틴 테스트 결과 - XP Professional SP3

- [VB100, RAP] : 10월(2010) 바이러스 블러틴 테스트 결과 - 전체 보고서
- [VB100, RAP] : 12월(2010) 바이러스 블러틴 테스트 결과 - 전체 보고서
- [VB100, RAP] : 02월(2011) 바이러스 블러틴 테스트 결과 - 전체 보고서

▶ 출처 : http://www.virusbtn.com

---

바이러스 블러틴에서는 6개월 단위로 모든 테스트 결과가 무료로 제공되고 있습니다. 이 글에서는 전체 공개된 자료 중 2011년 4월 자료를 살펴보도록 하겠습니다.
 
해당 테스트 아직까지 많이 사용되고 있는 XP Professional SP3에서 진행되었으며 총 61개업체 69개의 제품이 테스트되었습니다. 바이러스 블러틴(이하 VTN)에서 실시하는 테스트들은 아래와 같습니다.

- VB100 인증 (와일드 리스트 검출, 오진 검출)
- 악성코드 진단율 테스트 (웜, 봇, 다형성 바이러스, Trojan 등)
- RAP 테스트 (사전 방역 및 대응 수준 검사)
- 압축 파일 검사 수준 테스트 (압축 깊이 별 진단)
- 수동 검사 및 실시간 감시의 속도 테스트
- 퍼포먼스 테스트 (시스템 리소스 사용율)

※ VB100 인증 여부와 실패 이유, RAP 테스트의 누적 결과는 위 링크의 4월 자료를 참고 바랍니다

1. 악성코드 진단율 테스트

VTN에서는 악성코드 진단율 테스트를 수동 검사와 실시간 감시로 나누어 각각 진단율을 측정합니다. 측정은 기본 설정 상에서 이루어지며, 진단율 측정시 현재 유행하고 있는 클라우드 진단 기능은 사용하지 않고 있습니다. 정확한 정보는 없으나 실시간 감시 기능은 행동 기반 진단 기능을 제외한 시그니처 진단만을 사용하는 것으로 보입니다.

일반적으로 실시간 감시의 진단율이 수동 검사 진단율과 비슷하거나 다소 떨어집니다. 이는 보통 퍼포먼스를 위해 설정상 감시 강도를 낮추기 때문입니다. 하지만 특정 제품은 반대로 실시간 감시에서 수동 검사보다 더 높은 진단율을 보입니다. 


▶ 수동 검사 결과

---

수동 검사 진단율 결과

▶ 실시간 감시 결과

---

 

수동 검사와 실시간 감시에서 각 항목 별로 진단율이 높은 제품은 아래와 같습니다. 와일드 리스트와 오진 결과는 뺀, 웜과 다형성, Trojan 악성코드에 대한 진단율만 살펴봅니다.

◈ 수동 검사 진단율 순위

순위	Worms & Bot	Polymorphic Virus	Trojan
1	G-Data Antivirus 2011 (99.88%)	총 51개 제품 (100%)	G-Data Antivirus 2011 (99.52%)
2	Trusport Antivirus 2011(99.85%)		Bkis Bkav Professional(99.48%)
3	Coranti 2010  (99.83%)		Trustport Antivirus 2011(99.16%)

◈ 실시간 검사 진단율 순위
순위	Worms & Bot	Polymorphic Virus	Trojan
1	Trusport Antivirus 2011(99.83%)	총 50개 제품 (100%)	Bkis Bkav Professional(99.48%)
2	AVAST! Free  Coranti 2010  G-DATA Antivirus 2010 Lavasoft Ad-Aware Total Security (99.79%)		G-DATA Antivirus 2010(98.34%)
3			Trusport Antivirus 2011(98.26%)

윈도우 XP 환경이었기 때문에 매우 많은 제품들이 참여하였습니다.
 
누적 진단율 테스트이다 보니 다중 엔진을 갖고 있는 제품들이 강세지만, 의외로 비트디펜더 엔진을 갖고 있는 제품들이 순위권에 포함되어 있음을 확인할 수 있습니다. 

일단 자체 엔진을 쓴다고 알려진 베트남의 BKIS 제품의 선전이 가장 눈에 띕니다. 웜 진단에서는 순위에서 밀렸지만 10위권 안에 위치하고 있으며, 다형성 바이러스 진단율 100%, Trojan 진단율 최상위권에 위치하는 등 매우 뛰어난 성능을 보이고 있습니다. 물론 오진(3개)로 인하여 인증에는 실패했지만, 테스트 상에서는 진단율이 보상하는 수준이라고 봅니다.

또 다른 부분에서는 국내 제품들의 다형성 바이러스의 진단율이 흥미롭습니다. 이전에 이미 언급했던 높은 수준의 웜, Trojan에 대한 진단율도 놀랍지만, 과거에 항상 약점으로 지적되던 다형성 악성코드(Polymorphic Virus)에 대한 진단을 극복했기 때문입니다. 안랩의 경우 100% 진단한 것은 아니지만 99.99%의 준수한 성적을 거두었습니다. 이는 모두 국내 제품들의 제너릭, 휴리스틱 진단 성능이 향상된 점이 영향을 미친 것 같습니다.

국내 제품들과 AVIRA, AVAST, AVG, 카스퍼스키, 비트디펜더, ESET, Symantec 등 외국의 유명 제품과 비교할 때 최소한 시그니처 진단상으로는 아주 차이가 난다 이야기하기는 어려울 듯 합니다.

마지막으로는 카스퍼스키의 기업용/개인용 IS/개인용 Pure 제품 간에 진단율의 차이가 발생하는 이유가 상당히 궁금합니다. 엔진 버전들도 서로 다르지만 DB까지 다르기에 이런 결과가 나올 수도 있고, 단순히 DB 업데이트 차이에 의해 발생한 것일 수도 있겠는데, 같은 업체의 제품의 진단율이 차이가 나는 점이 상당히 흥미롭습니다.

새롭게 참여한 제품들 중 인증에 실패한 제품들을 제외하면 비교적 나쁘지 않은 성적들을 거두었고, 특히 UnThreat 제품은 그 중에서도 발군의 성적을 보여주고 있습니다.

2. RAP 테스트

RAP 테스트는 Reactive와 Proactive 테스트를 의미합니다. Reactive는 테스트 시점을 기준으로 기간별(3주전, 2주전, 1주전) 수집 악성코드에 대한 진단율을 측정하고, Proactive는 테스트 시점을 기준으로 1주 후에 수집된 악성코드의 진단율을 테스트합니다.  

따라서 Reactive는 업체의 DB 추가 능력(대응력)을 검사하고, Proactive는 DB 추가 전에 나타나는 사전 진단 능력을 검사합니다. Reactive는 DB 수집과 배포 능력이 뛰어날수록, Proactive는 휴리스틱 진단과 제너릭 진단이 뛰어난 제품일수록 유리합니다.

모든 악성코드의 진단이 불가능한 현 상황에서는 누적 진단율 테스트보다 중요한 테스트라고 봅니다.

RAP 테스트 세부 결과

진단율에 따른 순위는 아래와 같습니다.

◈ RAP 테스트 진단율 순위
순위	Reactive 평균	Proactive 평균	전체 평균
1	Trusport Antivirus 2011 (99.63%)	Trusport Antivirus 2011  (93.18%)	Trusport Antivirus 2011(98.02%)
2	Coranti 2010   (99.14%)	Coranti 2010  (93.30%)	Coranti 2010  (97.68%)
3	Ikarus T3 Virus-Utilities (98.90%)	Lavasoft Ad-Aware Total Security (92.22%)	Ikarus T3 Virus-Utilities (97.13%)

특별히 언급할 부분은 RAP 테스트 항목에 드디어 이카루스 제품이 나타난 점입니다. 개인적으로 도깨비같은 제품이다 생각하는데 바이러스 토탈 등 웹검사 서비스를 이용할 때 매우 빈번하게 진단을 하지만, 대부분의 실제 테스트에서는 높은 점수를 받지 못하는 제품이었기 때문입니다. 체감하는 바와 비슷한 수준의 성적인 것 같습니다.

이 외에는 크게 언급할 부분은 없습니다.

국내 제품들 중에서 지난 12월 자료와 비교해보면 안랩은 상승, 하우리는 하향된 점수를 받았습니다. 안랩은 아직 전체 평균이 90%를 넘지 못했으나 점차 유명 제품들과 유사한 수준으로 올라가고 있습니다. 하우리는 DB 최적화 이후에 오진과 진단율 부분을 조정하는데 어려움을 겪고 있는 것 같습니다. 아니면 지금 정도가 현재의 한계일 수도 있겠습니다. 

 

3. 수동 검사 및 실시간 감시 속도 테스트

검사는 기본 상태에서 첫 검사(Cold), 두 번째 검사(Warm)와, 모든 파일 검사시의 속도를 측정합니다. Warm 항목이 있는 이유는 대부분의 제품에 검사 최적화 기능이 도입되어 검사 속도가 향상되기 때문입니다. 검사는 압축 파일, 시스템 파일을 비롯한 일반 실행 파일, 미디어 및 문서 파일, 다른 일반 확장자 등을 나누어 진행하였습니다.

수동 검사와 실시간 감시에 대한 속도 테스트는 단위가 다릅니다. 수동 검사는 초당당 검사 데이타 크기(MB/s)를 단위로 한다면, 실시간 감시는 역으로 검사 데이타 크기 당 시간(s/MB)를 단위로 합니다. 검사 방법의 차이에서 나타나는 단위 문제 때문입니다. 따라서 수동 검사는 결과값이 클 수록 빠른 것이고, 실시간 감시는 결과값이 작을 수록 빠른 것입니다.


▶ 수동 검사 속도

---

 

수동 검사 속도 비교

▶ 실시간 감시 속도

---

수동 검사와 실시간 감시의 속도 순위는 매기지 않겠습니다.

이번 테스트에 "System Drive" 항목이 추가되었는데 별다른 설명이 없다보니 어떤 항목인지 알 수가 없습니다. 시스템 폴더 전체를 검사한 것이라 생각되긴 하는데, 정확한 정보는 아닙니다.

4. 시스템 퍼포먼스 테스트

시스템 퍼포먼스는 기본/작업시 RAM 점유율과 작업시 CPU 사용량, 파일 실행 딜레이 등을 측정합니다. 수치가 작을 수록 시스템 퍼포먼스가 좋습니다.

유명 제품 중에서는 파일 실행시에만 딜레이가 좀 클 뿐 에프시큐어 제품이 상당히 뛰어난 퍼포먼스를 갖고 있습니다.

---

12월 자료와 큰 차이는 없지만 몇몇 제품들의 변화가 눈에 띄는 4월 자료였습니다.


- 이상입니다.