[VB100, RAP] : 12월(2011) 바이러스 블러틴 테스트 결과 - 전체 보고서

전체 결과가 공개된 2011년 12월 VB100, RAP 테스트의 세부 결과를 살펴보겠습니다.

▶ 관련 글

- [VB100, RAP] : 12월(2011) 바이러스 블러틴 테스트 결과 - Windows 7 Professional

- [VB100, RAP] : 02월(2011) 바이러스 블러틴 테스트 결과 - 전체 보고서
- [VB100, RAP] : 04월(2011) 바이러스 블러틴 테스트 결과 - 전체 보고서
- [VB100, RAP] : 06월(2011) 바이러스 블러틴 테스트 결과 - 전체 보고서
- [VB100, RAP] : 08월(2011) 바이러스 블러틴 테스트 결과 - 전체 보고서
- [VB100, RAP] : 10월(2011) 바이러스 블러틴 테스트 결과 - 전체 보고서 

- [VB100, RAP] Virus Bulletin의 테스트 기법 - 클라우드,  Respone Test (2012.01) [수정]

▶ 출처 : http://www.virusbtn.com

---

바이러스 블러틴에서는 6개월 단위로 모든 테스트 결과가 무료로 제공되고 있습니다. 이 글에서는 전체 공개된 자료 중 2011년 12월 자료를 살펴보도록 하겠습니다.

해당 테스트는  윈도우 7 Professional에서 진행되었으며 총 49개업체 54개의 제품이 테스트되었습니다.

2011년 12월 테스트부터 'Response test'의 추가 등 테스트 관련해서 많은 변화가 있었습니다. 특히, 수동 검사와 실시간 감시를 통한 누적 진단율(웜, Trojan등)이 삭제되었습니다. 자세한 내용은 관련 글의 테스트 기법 글을 참고 바랍니다.

바이러스 블러틴(이하 VTN)에서 12월에 실시한 테스트는 아래와 같습니다.

- VB100 인증 : 일반/확장 와일드 리스트 검출, 오진 검출
- 악성코드 반응 테스트 : 최신 샘플에 대한 대응 능력 테스트
- RAP 테스트 : 사전 방역 및 대응 수준 검사
- 압축 파일 검사 수준 테스트 : 압축 깊이 별 진단
- 수동 검사 및 실시간 감시의 속도 테스트
- 퍼포먼스 테스트 : 시스템 리소스 사용율

※ VB100 인증 여부와 실패 이유, RAP 테스트의 누적 결과는 위 링크의 12월 자료를 참고 바랍니다

1. 와일드 리스트 샘플 진단 테스트 - VB100 인증

누적 진단율 테스트가 없어지면서 기존의 악성코드 진단율 테스트는 VB100 인증에 사용하는 와일드 리스트 샘플에 대한 진단율 테스트만 존재합니다. 수동 검사 및 실시간 검사를 동시에 진행하며 일반 샘플과 확장 샘플이 따로 존재하여 이를 모두 진단해야만 인증에 성공합니다. 오진 테스트는 기존과 동일합니다.

참고로 와일드 리스트 샘플 테스트 기존의 시그니처 진단과 함께 클라우드 진단 기능을 사용할 수 있도록 변경되었습니다.

모든 샘플을 진단해야만 하는 테스트 특성상 특별히 언급할 부분은 없습니다.

국내 제품에 대해서만 언급해보면, 안랩은 확장 와일드 리스트 샘플 미진단과 오진(1개)으로 인증에 실패했습니다. 알약의 경우 인증에는 성공하였으나 의심 진단이 무려 23개나 있었습니다. 소포스 엔진을 사용하지 않으며 자체 엔진과 비트디펜더 엔진만 사용하였다는 것을 고려해볼 때, 자체 엔진을 통한 의심 진단으로 보입니다. 사실상 오진이라 볼 수 있으며, 샘플들이 국내 환경과 달라 나타나는 결과로 보입니다.

2. RAP 테스트

RAP 테스트는 Reactive와 Proactive 테스트를 의미합니다. Reactive는 테스트 시점을 기준으로 기간별(3주전, 2주전, 1주전) 수집 악성코드에 대한 진단율을 측정하고, Proactive는 테스트 시점을 기준으로 1주 후에 수집된 악성코드의 진단율을 테스트합니다.  

따라서 Reactive는 업체의 DB 추가 능력(대응력)을 검사하고, Proactive는 DB 추가 전에 나타나는 사전 진단 능력을 검사합니다. Reactive는 DB 수집과 배포 능력이 뛰어날수록, Proactive는 휴리스틱 진단과 제너릭 진단이 뛰어난 제품일수록 유리합니다. 

개인적으로 삭제된 누적율 테스트보다 더 중요한 테스트라고 생각합니다만, 클라우드 진단이 포함되지 않기 때문에 실질적인 대응력을 테스트하기는 어렵다고 봅니다. 따라서 새로 추가된 반응 테스트의 결과와 비교해보면 더 유용한 정보를 얻을 수 있을 것이라 생각합니다.

진단율에 따른 순위는 아래와 같습니다.

◈ RAP 테스트 진단율 순위
순위	Reactive 평균	Proactive 평균	전체 평균
1	Coranti Cora Antivirus(99.02%)	Coranti Cora Antivirus (93.09%)	Coranti Cora Antivirus(97.54%)
2	Lavasoft Ad-Aware Total Security   (98.97%)	G-DATA Antivirus 2012 (82.12%)	G-DATA Antivirus 2012  (97.23%)
3	G-DATA Antivirus 2012 (98.93%)	Lavasoft Ad-Aware Total Security (91.99%)	Lavasoft Ad-Aware Total Security (97.22%)

서버용 제품으로 테스트된 지난 테스트와 달리 일반 개인용 OS에서 진행된 테스트이기에 다중 엔진 제품들의 압도적인 진단율이 눈에 띕니다. 단일 엔징의 경우 AVIRA와 비트디펜더, Ikarus 엔진 등이 좋은 성적을 거두고 있습니다.

Coranti의 경우 두 개 제품을 테스트에 참여시켰는데, Cora 제품의 경우 로컬라이징된 제품으로 보입니다. 두 제품 모두 최고 점수를 받았으며, 둘 중 더 진단율이 높은 제품을 순위에 포함시켰습니다.

안랩과 알약은 이전 테스트와 비슷한 수준의 점수를 받고 있습니다.

아래는 테스트 결과를 그래프로 표시한 것입니다.

3. Respone Test - 반응 테스트

2011년 12월부터 새롭게 추가된 'Response test'는 최신 유포된 샘플에 대한 대응력을 테스트합니다.
 
기본적으로 클라우드 진단이 포함된 시그니처 진단 테스트이며, 7일간 하루 간격으로 수집된 최신 샘플의 진단율을 측정합니다. 이때 제품별로 동일한 시간, 동일한 샘플이 이용되는 것이 아니기 때문에, 객관성을 유지하기 위해 동일 샘플을 3번 반복하여 테스트한다고 합니다. 반복된 테스트의 결과값을 평균한 값이 이 테스트의 최종 결과입니다.

테스트에 대한 자세한 내용은 관련 글을 참고 바랍니다.

RAP 테스트의 Reactive 테스트와의 차이점은 클라우드 진단(인터넷 연결)의 허용 여부와 샘플 수집 및 테스트 주기입니다. 따라서 RAP 테스트에 비해 더 단기적인 기한내의 반응 능력과 사전 진단 능력을 측정할 수 있습니다. 쉽게 말해 이 테스트에서 높은 점수를 받는 제품들이 실환경에서 유포되는 최신 악성코드를 더 잘 진단하는 것이라 할 수 있습니다.

반응 테스트의 순위는 아래와 같습니다.

순   위	제 품 명	진 단 율
1	G Data AntiVirus 2012 TrustPort Antivirus 2012	99.8%
2	Ikarus virus.utilities Lavasoft Ad-Aware Total Security	99.6%
3	Emsisoft Anti-Malware	99.5%
4	Auslogics Antivirus BullGuard Antivirus 10	99.0%
5	eScan Internet Security	98.9
6	avast! Free Antivirus Avira AntiVir Free/Pro BitDefender Antivirus Plus	98.7
7	GFI VIPRE Antivirus	98.4

기본적으로 다중 엔진 제품이 높은 점수를 받고 있으나 단일 엔진 제품들이 RAP 테스트에 비해 상당히 강세를 보이고 있는 점이 특징입니다. AVIRA나 비트디펜더과 같은 제품들은 물론, AVAST나 카스퍼스키 등 누적 진단율 제품에서 비교적 떨어지던 제품들의 약진이 눈에 띕니다. 

물론 Coranti같은 다중 엔진 제품이나 알약, 에프시큐어, Qihoo와 같은 타 제품의 엔진을 빌려쓰는 일부 제품들의 경우 좋은 점수를 받지 못하였습니다. 해당 제품들이 기존의 테스트에서 높은 진단율을 보이는 것과 상당히 다른 결과입니다. 이러한 결과가 발생한 것은 DB를 받아올 때 존재하는 딜레이와 자체 최적화(오진 해소를 위해 일부 DB 삭제 등)로 나타난 결과가 아닐까 싶습니다.

A 시리즈의 경우 전체적으로 높은 점수를 받았고, 높은 사전 진단 능력을 자랑하던 ESET은 94.9%의 준수한 점수를 받았지만 최상위권에는 미치지 못하여 다소 아쉬움을 보였습니다. 맥아피와 MSE도 비교적 선방한 것으로 보입니다.

클라우드 진단 미사용으로 RAP 테스트에 참여하지 않고 있다 예상되는 시만텍은 80%대의 다소 낮은 점수를 받았습니다. 종합적인 기능에서는 무척 뛰어나지만 인사이트 기능 자체만으로는 확실히 매력이 떨어지는 것 같습니다.

국내 제품인 안랩(78.3%)은 RAP 테스트와 비슷한 점수를 받았습니다. 개인적으로 나쁜 점수는 아니었다 생각하며, 큰 차이가 나는 것은 아니지만 해외 테스트임에도 알약보다 초기 반응 진단율이 높다는 점은 눈여겨 볼만하다 생각합니다.

4. 수동 검사 및 실시간 감시 속도 테스트

검사는 기본 상태에서 첫 검사(Cold), 두 번째 검사(Warm)와, 모든 파일 검사시의 속도를 측정합니다. Warm 항목이 있는 이유는 대부분의 제품에 검사 최적화 기능이 도입되어 검사 속도가 향상되기 때문입니다. 검사는 압축 파일, 시스템 파일을 비롯한 일반 실행 파일, 미디어 및 문서 파일, 다른 일반 확장자 등을 나누어 진행하였습니다.

수동 검사와 실시간 감시에 대한 속도 테스트는 단위가 다릅니다. 수동 검사는 초당당 검사 데이타 크기(MB/s)를 단위로 한다면, 실시간 감시는 역으로 검사 데이타 크기 당 시간(s/GB)를 단위로 합니다. 검사 방법의 차이에서 나타나는 단위 문제 때문입니다. 따라서 수동 검사는 결과값이 클 수록 빠른 것이고, 실시간 감시는 결과값이 작을 수록 빠른 것입니다.


(1) 수동 검사 속도

---

(2) 실시간 감시 속도

---

5. 시스템 퍼포먼스 테스트

시스템 퍼포먼스는 기본/작업시 RAM 점유율과 작업시 CPU 사용량, 파일 실행 딜레이 등을 측정합니다.
단, 절대치가 아니라 기본 상태에서 점유 및 사용량의 증가율을 표시하고 있습니다. 수치가 작을 수록 시스템 퍼포먼스가 좋습니다.

 

 

 

---

안랩과 이스트소프트의 경쟁이 재밌는 것 같습니다.



- 이상입니다.