[VB100, RAP] : 10월(2010) 바이러스 블러틴 테스트 결과 - 전체 보고서

최근에 무료로 공개된 2010년 10월 VB100, RAP 테스트의 세부 결과를 살펴보겠습니다.

▶ 관련글

- [VB100, RAP] : 10월(2010) 바이러스 블러틴 테스트 결과 - Windows Server 2003

- [VB100, RAP] : 08월(2010) 바이러스 블러틴 테스트 결과 - 전체 보고서

▶ 출처 : http://www.virusbtn.com

---

현재 바이러스 블러틴에서 유료로 제공하던 안티 바이러스 테스트 결과 중 2010년 자료들은 모두 무료로 공개되고 있습니다.  

이 글에서는 무료 공개된 자료 중 2010년 10월 자료를 살펴보도록 하겠습니다. 2010년 테스트는 Windows Server 2003 환경에서 진행되었으며 모두 38개의 제품이 테스트되었습니다.


바이러스 블러틴(이하 VTN)에서 실시하는 테스트들은 아래와 같습니다.

- VB100 인증 (와일드 리스트 검출, 오진 검출)
- 악성코드 진단율 테스트 (웜, 봇, 다형성 바이러스, Trojan 등)
- RAP 테스트 (사전 방역 및 대응 수준 검사)
- 압축 파일 검사 수준 테스트 (압축 깊이 별 진단)
- 수동 검사 및 실시간 감시의 속도 테스트
- 퍼포먼스 테스트 (시스템 리소스 사용율)

※ VB100 인증 여부와 실패 이유, RAP 테스트의 누적 결과는 위 링크의 10월 자료를 참고 바랍니다.

1. 악성코드 진단율 테스트

VTN에서는 악성코드 진단율 테스트를 수동 검사와 실시간 감시로 나누어 각각 진단율을 측정합니다. 측정은 기본 설정 상에서 이루어지며, 진단율 측정시 현재 유행하고 있는 클라우드 진단 기능은 사용하지 않고 있습니다. 정확한 정보는 없으나 실시간 감시 기능은 행동 기반 진단 기능을 제외한 시그니처 진단만을 사용하는 것으로 보입니다.

일반적으로 실시간 감시의 진단율이 수동 검사 진단율과 비슷하거나 다소 떨어집니다. 이는 보통 퍼포먼스를 위해 설정상 감시 강도를 낮추기 때문입니다. 하지만 특정 제품은 반대로 실시간 감시에서 수동 검사보다 더 높은 진단율을 보입니다. 


▶ 수동 검사 결과

---

▶ 실시간 감시 결과

---

 

수동 검사와 실시간 감시에서 각 항목 별로 진단율이 높은 제품은 아래와 같습니다. 와일드 리스트와 오진 결과는 뺀, 웜과 다형성, Trojan 악성코드에 대한 진단율만 살펴봅니다.

◈ 수동 검사 진단율 순위
순위	Worms & Bot	Polymorphic Virus	Trojan
1	G-data (99.59%)	AVIRA, Bitdefender, BullGuard, Cornati, eScan, Eset, Frisk, F-secure, G-data, Kaspersky, Kenju, Qihoo 360, Quick heal, Returnil, SGA, Sophos (100%)	G-data (99.29%)
2	Coranti (99.32%)		AVIRA (98.16%)
3	AVIRA (99.02%)		Cornati (97.36%)

◈ 실시간 검사 진단율 순위
순위	Worms & Bot	Polymorphic Virus	Trojan
1	G-data (99.59%)	AVIRA, Bitdefender, BullGuard, Cornati, eScan, Eset, Frisk, F-secure, G-data, Kaspersky, Kenju, Qihoo 360, Quick heal, Returnil, Sophos (100%)	G-data (99.29%)
2	Cornati (99.32%)		AVIRA (97.83%)
3	AVIRA (98.92%)		Cornati (97.36%)

누적 진단율은 어느 테스트나 비슷한 결과가 나오는 것 같습니다. G-data와 Coranti, AVIRA가 모두 상위권에 위치하고 있습니다. 이 외에도 Bitdefender와 Bitdefender의 엔진을 차용한 F-secure같은 제품들의 진단율이 높습니다.

서버 OS 환경임에도 안랩과 하우리, SGA 등 많은 국내 업체들이 참여했던 테스트였습니다. 그러나 모두 VB100 인증에 실패하였습니다. 안랩의 경우 4개의 오진으로 탈락하였으나 하우리와 SGA는 모두 와일드 리스트 샘플 검출에 실패하여 당시 곧 출시 예정인 최신 버전의 제품에 대해 다소 의구심을 갖게 하였습니다. 정보로는 하우리의 경우 DB 최적화가 끝나지 않은 상태에서 테스트를 받아서 나온 결과였다고 합니다. 이후 테스트에서는 오진율이 늘어나긴 했지만 진단율 자체는 매우 상승해서 틀린 정보는 아니었던 것 같습니다.

10월 자료의 또 다른 흥미점은 코모도의 제품이 처음 VB100 테스트에 참여하였다는 점입니다. 안티 바이러스와 IS 제품이 모두 참여했는데 와일드 리스트 샘플 미검출로 인증에 실패했으며, 다른 항목들의 진단율도 다소 낮아 하위권에 머물렀습니다. 사용자들의 기대에는 못 미치는 결과였다고 생각합니다.


이 외에는 8월 세부 자료와 별 다른 차이가 없습니다.

2. RAP 테스트

RAP 테스트는 Reactive와 Proactive 테스트를 의미합니다. Reactive는 테스트 시점을 기준으로 기간별(3주전, 2주전, 1주전) 수집 악성코드에 대한 진단율을 측정하고, Proactive는 테스트 시점을 기준으로 1주 후에 수집된 악성코드의 진단율을 테스트합니다.  

따라서 Reactive는 업체의 DB 추가 능력(대응력)을 검사하고, Proactive는 DB 추가 전에 나타나는 사전 진단 능력을 검사합니다. Reactive는 DB 수집과 배포 능력이 뛰어날수록, Proactive는 휴리스틱 진단과 제너릭 진단이 뛰어난 제품일수록 유리합니다.

모든 악성코드의 진단이 불가능한 현 상황에서는 누적 진단율 테스트보다 중요한 테스트라고 봅니다.

기본적인 것은 8월 자료와 별 다른 차이가 없습니다. 시만텍이 빠지고 국내 업체들을 비롯해 몇몇 업체들이 새롭게 참여한 것이 다른 점입니다. 진단율에 따른 순위는 아래와 같습니다.

◈ RAP 테스트 진단율 순위
순위	Reactive 평균	Proactive 평균	전체 평균
1	G-data (96.36%)	Cornati (84.00%)	G-data (91.59%)
2	ESET (95.71%)	ESET (79.43%)	ESET (91.64%)
3	AVG (92.67%)	Bitdefender (77.82%)	Coranti (88.19%)

G-data와 ESET, Coranti, Bitdefender, AVG 등이 상위권이었으며 AVIRA, AVAST, Kaspersky, Emisoft등이 뒤를 이었습니다. Emisoft의 경우 오진이 높긴하지만 누적 진단율과 RAP 진단율은 비교적 높습니다.

국내 업체 중 안랩의 경우 전체 합산 점수가 소폭 증가했지만 의미가 있는 수준은 아니라고 봅니다. 하우리와 SGA는 희비가 엇갈렸는데, 하우리는 안랩과 비슷한 수준의 45.43%, SGA는 84.53%의 높은 점수를 받았습니다. SGA의 경우 비트디펜더 엔진의 도움을 톡톡히 받은 것으로 보이는데 VB100인증에서 많은 수의 와일드 리스트 미검출이 이해가 잘 안갑니다.

하우리의 경우 앞서 언급한 것처럼 DB 최적화 과정이었는데 아무래도 최적화에 참고하는 목적도 있었던 것 같습니다. 최적화가 어느 정도 진행된 12월에서는 크게 점수가 상승하기 때문입니다. 물론 다시 진단율이 하락하기도 하지만 이번 테스트에 워낙 이미지가 박혀버려서 홍보라는 측면에서는 마이너스가 아니었나 싶습니다.

코모도의 경우 60%가 안되는 중위권에 머물러 있습니다.

 

3. 수동 검사 및 실시간 감시 속도 테스트

검사는 기본 상태에서 첫 검사(Cold), 두 번째 검사(Warm)와, 모든 파일 검사시의 속도를 측정합니다. Warm 항목이 있는 이유는 대부분의 제품에 검사 최적화 기능이 도입되어 검사 속도가 향상되기 때문입니다. 검사는 압축 파일, 시스템 파일을 비롯한 일반 실행 파일, 미디어 및 문서 파일, 다른 일반 확장자 등을 나누어 진행하였습니다.

수동 검사와 실시간 감시에 대한 속도 테스트는 단위가 다릅니다. 수동 검사는 초당당 검사 데이타 크기(MB/s)를 단위로 한다면, 실시간 감시는 역으로 검사 데이타 크기 당 시간(s/MB)를 단위로 합니다. 검사 방법의 차이에서 나타나는 단위 문제 때문입니다. 따라서 수동 검사는 결과값이 클 수록 빠른 것이고, 실시간 감시는 결과값이 작을 수록 빠른 것입니다.


▶ 수동 검사 속도

---

▶ 실시간 감시 속도

---

아래는 수동 검사의 속도 순위입니다.

◈ 수동 검사 속도 순위
압축 파일		시스템 파일		문서 및 멀티미디어		기타 파일
Cold	Warm	Cold	Warm	Cold	Warm	Cold	Warm
AVAST	F-secure, Gdata   Kaspersky	AVIRA	F-secure G-data	Quick Heal	G-data	Quick Heal	F-secure
Sophos		Quick Heal		comodo	F-secure	AVAST	G-data
BKIS		ESET	Kaspersky	AVAST	Kaspersky	comodo	Kaspersky

실시간 감시는 따로 순위를 내지 않았습니다. ESET, F-secure 등 보통 가볍다 평가받는 제품들이 전/후 검사에서 모두 뛰어난 속도를 보이고 있습니다.  F-secure, Kaspersky, G-data 등은 최초 검사에서는 상당히 느린 편이지만 후속 검사에서는 진단 제외 기술로 매우 높은 수준의 속도 향상을 보여줍니다.

4. 시스템 퍼포먼스 테스트

마지막 검사 항목으로 시스템 리소스 사용율을 측정하는 퍼포먼스 테스트 결과입니다. 일반 상태에서의 램 사용율과, 큰 용량의 파일 접근시의 램 사용율, CPU 사용율 등을 측정합니다.

최근의 환경에서는 물리 RAM등의 사용율보다는, HDD에 대한 I/O량과 가상 메모리 사용, 멀티코어 사용을 통한 작업 분배 효과 등이 더 중요하다고 봅니다. VTN의 테스트도 'AMD Phenom II x2 550'에 램 4기가 등 평균적인 사양을 가지고 검사하고 있습니다. 따라서 일반 상태와 작업량이 많을 때의 상대적인 차이만을 살펴보시기 바랍니다. 

---

압축 파일 검사 항목은 제외 했습니다.

- 이상입니다.