[VB100, RAP] : 02월(2011) 바이러스 블러틴 테스트 결과 - 전체 보고서

무료로 공개된 2011년 02월 VB100, RAP 테스트의 세부 결과를 살펴보겠습니다.

▶ 관련글

- [VB100, RAP] : 02월(2011) 바이러스 블러틴 테스트 결과 - Ubuntu Linux 10.04 LTS

- [VB100, RAP] : 08월(2010) 바이러스 블러틴 테스트 결과 - 전체 보고서
- [VB100, RAP] : 10월(2010) 바이러스 블러틴 테스트 결과 - 전체 보고서
- [VB100, RAP] : 12월(2010) 바이러스 블러틴 테스트 결과 - 전체 보고서

▶ 출처 : http://www.virusbtn.com

---

바이러스 블러틴에서는 6개월 단위로 모든 테스트 결과가 무료로 제공되고 있습니다. 이 글에서는 무료 공개된 자료 중 2011년 2월 자료를 살펴보도록 하겠습니다.
 
해당 테스트 리눅스 기반의 우분투 서버에서 진행되었으며 모두 14개의 제품이 테스트되었습니다.
바이러스 블러틴(이하 VTN)에서 실시하는 테스트들은 아래와 같습니다.

- VB100 인증 (와일드 리스트 검출, 오진 검출)
- 악성코드 진단율 테스트 (웜, 봇, 다형성 바이러스, Trojan 등)
- RAP 테스트 (사전 방역 및 대응 수준 검사)
- 압축 파일 검사 수준 테스트 (압축 깊이 별 진단)
- 수동 검사 및 실시간 감시의 속도 테스트
- 퍼포먼스 테스트 (시스템 리소스 사용율)

※ VB100 인증 여부와 실패 이유, RAP 테스트의 누적 결과는 위 링크의 2월 자료를 참고 바랍니다.

1. 악성코드 진단율 테스트

VTN에서는 악성코드 진단율 테스트를 수동 검사와 실시간 감시로 나누어 각각 진단율을 측정합니다. 측정은 기본 설정 상에서 이루어지며, 진단율 측정시 현재 유행하고 있는 클라우드 진단 기능은 사용하지 않고 있습니다. 정확한 정보는 없으나 실시간 감시 기능은 행동 기반 진단 기능을 제외한 시그니처 진단만을 사용하는 것으로 보입니다.

일반적으로 실시간 감시의 진단율이 수동 검사 진단율과 비슷하거나 다소 떨어집니다. 이는 보통 퍼포먼스를 위해 설정상 감시 강도를 낮추기 때문입니다. 하지만 특정 제품은 반대로 실시간 감시에서 수동 검사보다 더 높은 진단율을 보입니다. 


▶ 수동 검사 결과

---

▶ 실시간 감시 결과

---

 

수동 검사와 실시간 감시에서 각 항목 별로 진단율이 높은 제품은 아래와 같습니다. 와일드 리스트와 오진 결과는 뺀, 웜과 다형성, Trojan 악성코드에 대한 진단율만 살펴봅니다.

◈ 수동 검사 진단율 순위

순위	Worms & Bot	Polymorphic Virus	Trojan
1	AVIRA (99.82%)	AVIRA Bitdefender Escan ESET Frisk Kaspersky AV/ES Sophos (100%)	AVIRA (99.57%)
2	Bitdefender (99.78%)		Bitdefender (99.78%)
3	AVAST (98.74%)		Escan (97.75%)

◈ 실시간 검사 진단율 순위
순위	Worms & Bot	Polymorphic Virus	Trojan
1	AVIRA (99.82%)	AVIRA Bitdefender Escan ESET Frisk Kaspersky AV/ES Sophos (100%)	AVIRA (99.57%)
2	Bitdefender Escan (99.78%)		Bitdefender (99.02%)
3			Escan (99.01%)

서버용, 게다가 리눅스에서 진행된 테스트인지라 참여 제품이 매우 적습니다. 다중 엔진을 사용하는 제품이 없다보니 역시 AVIRA가 모든 분야에서 1등을 차지하고 있습니다. 그 뒤를 비트디펜더와 비트디펜더 엔진의 Escan이 뒤 따르고 있습니다. 

보통 실시간 감시가 수동 검사에 비해 진단 민감도가 낮은 경우가 대부분인데, 항상 미묘하게 실시간 감시 부분의 진단율이 높습니다. 항상 이 결과를 보면서 궁금했었는데, 이유를 생각해보면 수동 검사가 보통 최고 강도 진단 설정인 '시스템 전체 검사'가 아닌, 다소 낮은 진단 설정을 갖춘 '사용자 지정 검사'를 이용해서가 아닐까 싶습니다.

리눅스 서버용 환경이다보니 국내 제품들은 참여가 없었습니다.

2. RAP 테스트

RAP 테스트는 Reactive와 Proactive 테스트를 의미합니다. Reactive는 테스트 시점을 기준으로 기간별(3주전, 2주전, 1주전) 수집 악성코드에 대한 진단율을 측정하고, Proactive는 테스트 시점을 기준으로 1주 후에 수집된 악성코드의 진단율을 테스트합니다.  

따라서 Reactive는 업체의 DB 추가 능력(대응력)을 검사하고, Proactive는 DB 추가 전에 나타나는 사전 진단 능력을 검사합니다. Reactive는 DB 수집과 배포 능력이 뛰어날수록, Proactive는 휴리스틱 진단과 제너릭 진단이 뛰어난 제품일수록 유리합니다.

모든 악성코드의 진단이 불가능한 현 상황에서는 누적 진단율 테스트보다 중요한 테스트라고 봅니다.

진단율에 따른 순위는 아래와 같습니다.

◈ RAP 테스트 진단율 순위
순위	Reactive 평균	Proactive 평균	전체 평균
1	Bitdefender (99.05%)	AVIRA (93.55%)	Bitdefender (97.31%)
2	AVIRA  (98.49%)	Bitdefender (92.10%)	AVIRA  (97.26%)
3	ESET (95.92%)	ESET (91.51%)	ESET (94.82%)

호랑이 없는 곳에서는 여우가 왕이듯, 다중 엔진이 없는 곳에서는 비트디펜더, AVIRA, ESET 등이 왕이었습니다. 절대적인 격차는 적지만 상대적으로는 타 제품과 상당한 차이를 보입니다.

그래프가 깔금해서 보기 좋습니다..

 

3. 수동 검사 및 실시간 감시 속도 테스트

검사는 기본 상태에서 첫 검사(Cold), 두 번째 검사(Warm)와, 모든 파일 검사시의 속도를 측정합니다. Warm 항목이 있는 이유는 대부분의 제품에 검사 최적화 기능이 도입되어 검사 속도가 향상되기 때문입니다. 검사는 압축 파일, 시스템 파일을 비롯한 일반 실행 파일, 미디어 및 문서 파일, 다른 일반 확장자 등을 나누어 진행하였습니다.

수동 검사와 실시간 감시에 대한 속도 테스트는 단위가 다릅니다. 수동 검사는 초당당 검사 데이타 크기(MB/s)를 단위로 한다면, 실시간 감시는 역으로 검사 데이타 크기 당 시간(s/MB)를 단위로 합니다. 검사 방법의 차이에서 나타나는 단위 문제 때문입니다. 따라서 수동 검사는 결과값이 클 수록 빠른 것이고, 실시간 감시는 결과값이 작을 수록 빠른 것입니다.


▶ 수동 검사 속도

---

▶ 실시간 감시 속도

---

아래는 수동 검사의 속도 순위입니다.

◈ 수동 검사 속도 순위
압축 파일		시스템 파일		리눅스 파일		문서 및 멀티미디어		기타 파일
Cold	Warm	Cold	Warm	Cold	Warm	Cold	Warm	Cold	Warm
Sophos	Sophos	AVIRA	AVIRA	Sophos	Sophos	Frisk	Frisk	AVIRA	AVIRA
AVG	AVG	AVG	AVG	Central Command	Central Command	AVIRA	AVIRA	AVG	AVG
Frisk	Frisk	Quick heal	Quick heal	Virus Buster	Virus Buster	AVG	AVG	Frisk	Frisk

테스트 제품이 적어서 의미있는 결과는 아닌 것 같습니다. 첫 검사와 나중 검사에서 모두 Sophos, AVIRA, AVG, Frisk가 뛰어났습니다.

4. 시스템 퍼포먼스 테스트

마지막 검사 항목인 시스템 퍼포먼스 테스트는 진행되지 않았습니다.

 

---

- 이상입니다.