[VB100, RAP] : 10월(2011) 바이러스 블러틴 테스트 결과 - 전체 보고서

전체 결과가 공개된 2011년 10월 VB100, RAP 테스트의 세부 결과를 살펴보겠습니다.

▶ 관련글

- [VB100, RAP] : 10월(2011) 바이러스 블러틴 테스트 결과 - Windows Server 2003

- [VB100, RAP] : 02월(2011) 바이러스 블러틴 테스트 결과 - 전체 보고서
- [VB100, RAP] : 04월(2011) 바이러스 블러틴 테스트 결과 - 전체 보고서
- [VB100, RAP] : 06월(2011) 바이러스 블러틴 테스트 결과 - 전체 보고서
- [VB100, RAP] : 08월(2011) 바이러스 블러틴 테스트 결과 - 전체 보고서

▶ 출처 : http://www.virusbtn.com

---

바이러스 블러틴에서는 6개월 단위로 모든 테스트 결과가 무료로 제공되고 있습니다. 이 글에서는 전체 공개된 자료 중 2011년 10월 자료를 살펴보도록 하겠습니다.
 
해당 테스트 아직까지 많이 사용되고 있는 Windows Server 2003에서 진행되었으며 총 43개업체 44개의 제품이 테스트되었습니다.

바이러스 블러틴(이하 VTN)에서 10월에 실시한 테스트는 아래와 같습니다.

- VB100 인증 (와일드 리스트 검출, 오진 검출)
- 악성코드 진단율 테스트 (웜, 봇, 다형성 바이러스, Trojan 등)
- RAP 테스트 (사전 방역 및 대응 수준 검사)
- 압축 파일 검사 수준 테스트 (압축 깊이 별 진단)
- 수동 검사 및 실시간 감시의 속도 테스트
- 퍼포먼스 테스트 (시스템 리소스 사용율)

※ VB100 인증 여부와 실패 이유, RAP 테스트의 누적 결과는 위 링크의 10월 자료를 참고 바랍니다

1. 악성코드 진단율 테스트

VTN에서는 악성코드 진단율 테스트를 수동 검사와 실시간 감시로 나누어 각각 진단율을 측정합니다. 측정은 기본 설정 상에서 이루어지며, 진단율 측정시 현재 유행하고 있는 클라우드 진단 기능은 사용하지 않고 있습니다. 정확한 정보는 없으나 실시간 감시 기능은 행동 기반 진단 기능을 제외한 시그니처 진단만을 사용하는 것으로 보입니다.

일반적으로 실시간 감시의 진단율이 수동 검사 진단율과 비슷하거나 다소 떨어집니다. 이는 보통 퍼포먼스를 위해 설정상 감시 강도를 낮추기 때문입니다. 하지만 특정 제품은 반대로 실시간 감시에서 수동 검사보다 더 높은 진단율을 보입니다. 

참고로 10월 테스트에서 최초로 확장 와일드 리스트 샘플이 사용되었습니다. 12월과 달리 인증에는 영향을 주지 않은 것으로 보아 이번 샘플 사용은 시험적인 것으로 보입니다.


(1) 수동 검사 결과

---

(2) 실시간 감시 결과

---

(3) 진단율 검사 결과 종합

---

수동 검사와 실시간 감시에서 각 항목 별로 진단율이 높은 제품은 아래와 같습니다. 와일드 리스트와 오진 결과는 뺀, 웜과 다형성, Trojan 악성코드에 대한 진단율만 살펴봅니다.

◈ 수동 검사 진단율 순위

순위	Worms & Bot	Polymorphic Virus	Trojan
1	G-Data Antivirus 2012(99.97%)	총 28개 제품 (100%)	G-Data Antivirus 2012(99.93%)
2	BitDefender Security Escan IS (99.62%)		GFI VIPRE Antivirus(99.32%)
3	BullGuard Antivirus  (99.61%)		BitDefender Security AVAST! Free (99.29%)

◈ 실시간 검사 진단율 순위
순위	Worms & Bot	Polymorphic Virus	Trojan
1	G-Data Antivirus 2012 (99.97%)	총 29개 제품 (100%)	G-Data Antivirus 2012(99.97%)
2	BitDefender Security  (99.63%)		BitDefender Security (99.36%)
3	BullGuard Antivirus  (99.61%)		BullGuard Antivirus (99.31%)

 

서버 OS 환경이라서 다중 엔진 제품 중에서는 G-data만 참여했습니다. 누적 샘플 진단율은 다중 엔진 제품인 G-data와 비트디펜더 엔진을 갖고 있는 제품들의 강세가 유지되고 있습니다. 그 외에는 AVAST, AVIRA, GFI 등이 좋은 결과를 보여주고 있습니다.

V3, 하우리, 알약 등이 참여한 가운데 국내 제품 중에서는 알약이 최고 진단율을 보이고 있습니다. 그러나 다른 비트디펜더 엔진을 사용하는 외국 제품들보다는 진단율이 약간 떨어집니다.

전반적으로 실시간 감시의 진단율은 수동 검사의 진단율보다 떨어집니다. 하지만 최상위에 위치한 제품들은 오히려 진단율이 높게 나타나고 있습니다. 이는 진단 민감도의 차이 때문으로 보입니다.

2. RAP 테스트

RAP 테스트는 Reactive와 Proactive 테스트를 의미합니다. Reactive는 테스트 시점을 기준으로 기간별(3주전, 2주전, 1주전) 수집 악성코드에 대한 진단율을 측정하고, Proactive는 테스트 시점을 기준으로 1주 후에 수집된 악성코드의 진단율을 테스트합니다.  

따라서 Reactive는 업체의 DB 추가 능력(대응력)을 검사하고, Proactive는 DB 추가 전에 나타나는 사전 진단 능력을 검사합니다. Reactive는 DB 수집과 배포 능력이 뛰어날수록, Proactive는 휴리스틱 진단과 제너릭 진단이 뛰어난 제품일수록 유리합니다.

모든 악성코드의 진단이 불가능한 현 상황에서는 누적 진단율 테스트보다 중요한 테스트라고 봅니다

진단율에 따른 순위는 아래와 같습니다.

◈ RAP 테스트 진단율 순위
순위	Reactive 평균	Proactive 평균	전체 평균
1	G-DATA Antivirus 2012 (98.89%)	G-DATA Antivirus 2012  (88.92%)	G-DATA Antivirus 2012 (96.40%)
2	Emsisoft Anti-Malware   (97.96%)	BitDefender Security (87.75%)	Emsisoft Anti-Malware  (95.14%)
3	BitDefender Security (97.07%)	BullGuard Antivirus (87.29%)	BitDefender Security (94.74%)

지난 테스트에 이어 emisoft 제품이 순위권에 존재합니다. 비트디펜더류의 강세도 여전합니다.

여기서도 국내 제품 중 알약이 가장 좋은 결과를 보여주고 있습니다. 하우리가 그나마 비슷한 수준을 보여주고 있긴 합니다만 결국은 비트디펜더 엔진으로 나타난 결과가 아닐까 합니다.

알약과 하우리가 비슷비슷한 수준을 보여주고 있습니다.인증에 실패한 하우리와 달리 알약의 경우 이번 테스트에서 인증에 성공함과 동시에 거의 모든 테스트 항목에서 좋은 결과를 보여주어 강렬한 인상을 심어주는데 성공한 것 괕습니다.

3. 수동 검사 및 실시간 감시 속도 테스트

검사는 기본 상태에서 첫 검사(Cold), 두 번째 검사(Warm)와, 모든 파일 검사시의 속도를 측정합니다. Warm 항목이 있는 이유는 대부분의 제품에 검사 최적화 기능이 도입되어 검사 속도가 향상되기 때문입니다. 검사는 압축 파일, 시스템 파일을 비롯한 일반 실행 파일, 미디어 및 문서 파일, 다른 일반 확장자 등을 나누어 진행하였습니다.

수동 검사와 실시간 감시에 대한 속도 테스트는 단위가 다릅니다. 수동 검사는 초당당 검사 데이타 크기(MB/s)를 단위로 한다면, 실시간 감시는 역으로 검사 데이타 크기 당 시간(s/MB)를 단위로 합니다. 검사 방법의 차이에서 나타나는 단위 문제 때문입니다. 따라서 수동 검사는 결과값이 클 수록 빠른 것이고, 실시간 감시는 결과값이 작을 수록 빠른 것입니다.


(1) 수동 검사 속도

---

(2) 실시간 감시 속도

---

검사 속도 항목에서도 알약이 선전 중입니다. V3의 경우 검사 속도가 빠르다는 평가와 달리 검사 속도가 의외로 떨어지는 것을 알 수 있습니다. 실제 수동 검사 속도는 전체 시스템을 검사하는 경우 일반적으로 v3가 알약보다 상당히 빠른 편이라서 검사 결과가 의외라 생각합니다.

개인적으로 어베스트의 결과가 흥미로웠는데, 리뷰를 하면서 느꼈던 것처럼 기본 설정 상에서는 확실히 퍼포먼스가 좋은 것 같습니다.

4. 시스템 퍼포먼스 테스트

시스템 퍼포먼스는 기본/작업시 RAM 점유율과 작업시 CPU 사용량, 파일 실행 딜레이 등을 측정합니다.
단, 절대치가 아니라 기본 상태에서 점유 및 사용량의 증가율을 표시하고 있습니다. 수치가 작을 수록 시스템 퍼포먼스가 좋습니다.

알약은 파일 실행 딜레이 부분이 비교적 크게 측정되었습니다. 안랩의 CPU 사용율 과사용은 여전합니다.

---

2011년 10월에 실시된 Vb100 인증 테스트는 국내에 무료 안티 바이러스 돌풍을 일으켰던 알약이 최초로 참여했다는 것이 특징입니다. 앞서 설명한 것처럼 알약은 인증에 성공했을 뿐더러 경쟁 상대인 V3보다 좋은 결과를 보여주어 기세를 올릴 수 있는 발판을 마련했다 생각합니다.

V3가 국내 환경에서는 테스트 결과와 다소 다른 결과를 보여줄 수도 있겠지만 일반 사용자들에게 많이 알려진 VB100 테스트 항목에서 알약에게 뒤쳐진 것은 다소 뼈아픈 결과가 아니었을까 싶습니다.

국내 업체들의 참여로 테스트 결과를 살펴보는 재미가 있는 것 같습니다. 다음 테스트인 12월 테스트부터 많은 변화가 있었는데 V3를 비롯한 국내 제품들의 결과가 어떻게 변할지 궁금해집니다.


- 이상입니다.