[VB100, RAP] : 08월(2011) 바이러스 블러틴 테스트 결과 - 전체 보고서

전체 결과가 공개된 2011년 08월 VB100, RAP 테스트의 세부 결과를 살펴보겠습니다.

▶ 관련글

- [VB100, RAP] : 08월(2011) 바이러스 블러틴 테스트 결과 - Windows Vista SP2 x64 Business

- [VB100, RAP] : 02월(2011) 바이러스 블러틴 테스트 결과 - 전체 보고서
- [VB100, RAP] : 04월(2011) 바이러스 블러틴 테스트 결과 - 전체 보고서
- [VB100, RAP] : 06월(2011) 바이러스 블러틴 테스트 결과 - 전체 보고서

▶ 출처 : http://www.virusbtn.com

---

바이러스 블러틴에서는 6개월 단위로 모든 테스트 결과가 무료로 제공되고 있습니다. 이 글에서는 전체 공개된 자료 중 2011년 8월 자료를 살펴보도록 하겠습니다.
 
해당 테스트 아직까지 많이 사용되고 있는 Windows Vista SP2 x64 Business에서 진행되었으며 총 43개업체 48개의 제품이 테스트되었습니다.

바이러스 블러틴(이하 VTN)에서 실시하는 테스트들은 아래와 같습니다.

- VB100 인증 (와일드 리스트 검출, 오진 검출)
- 악성코드 진단율 테스트 (웜, 봇, 다형성 바이러스, Trojan 등)
- RAP 테스트 (사전 방역 및 대응 수준 검사)
- 압축 파일 검사 수준 테스트 (압축 깊이 별 진단)
- 수동 검사 및 실시간 감시의 속도 테스트
- 퍼포먼스 테스트 (시스템 리소스 사용율)

※ VB100 인증 여부와 실패 이유, RAP 테스트의 누적 결과는 위 링크의 8월 자료를 참고 바랍니다

1. 악성코드 진단율 테스트

VTN에서는 악성코드 진단율 테스트를 수동 검사와 실시간 감시로 나누어 각각 진단율을 측정합니다. 측정은 기본 설정 상에서 이루어지며, 진단율 측정시 현재 유행하고 있는 클라우드 진단 기능은 사용하지 않고 있습니다. 정확한 정보는 없으나 실시간 감시 기능은 행동 기반 진단 기능을 제외한 시그니처 진단만을 사용하는 것으로 보입니다.

일반적으로 실시간 감시의 진단율이 수동 검사 진단율과 비슷하거나 다소 떨어집니다. 이는 보통 퍼포먼스를 위해 설정상 감시 강도를 낮추기 때문입니다. 하지만 특정 제품은 반대로 실시간 감시에서 수동 검사보다 더 높은 진단율을 보입니다. 


(1) 수동 검사 결과

---

(2) 실시간 감시 결과

---

(3) 진단율 검사 결과 종합

---

수동 검사와 실시간 감시에서 각 항목 별로 진단율이 높은 제품은 아래와 같습니다. 와일드 리스트와 오진 결과는 뺀, 웜과 다형성, Trojan 악성코드에 대한 진단율만 살펴봅니다.

◈ 수동 검사 진단율 순위

순위	Worms & Bot	Polymorphic Virus	Trojan
1	G-Data Antivirus 2012(99.92%)	총 34개 제품 (100%)	Trusport Antivirus 2012 (99.90%)
2	Trusport Antivirus 2012 (99.90%)		G-Data Antivirus 2012(99.83%)
3	Qihoo 360 Antivirus  (99.64%)		Emsisoft Anti-Malware (99.61%)

◈ 실시간 검사 진단율 순위
순위	Worms & Bot	Polymorphic Virus	Trojan
1	G-Data Antivirus 2012 (99.92%)	총 34개 제품 (100%)	G-Data Antivirus 2012 (99.92%)
2	Lavasoft Ad-Aware TS  (99.74%)		Ikarus virus.utilities (99.56%)
3	Trusport Antivirus 2012 (99.69%)		BitDefender Security for File Servers (99.52%)

 

64비트지만 클라이언트용 환경이기 때문에 6월 테스트보다는 더 많은 수의 제품들이 참여하였습니다.
 
누적 샘플 진단율 테스트 특성상 다중 엔진 제품들이 상위권에 위치하고 있으며, 단일 엔진에서는 비트디펜더와 BKIS, Ikaurs, AVIRA 등이 좋은 결과를 보여 주었습니다. 그러나 이카루스와 이카루스 엔진을 사용하는 Emisoft는 인증에는 실패했습니다.

전반적으로 실시간 감시의 진단율은 수동 검사의 진단율보다 떨어집니다. 이런 경향이 나타나는 이유는 설치시 제공되는 실시간 감시의 기본 설정 민감도가 오진이나 퍼포먼스 등의 이유로 수동 검사보다 뒤떨어지는 경우가 많기 때문입니다. 수동 검사는 감염 후 치료가 목적이고 실시간 감시는  감염전 차단을 가장 큰 목적으로 갖고 있어, 중요도는 실시간 감시가 더 큽니다. 사용자들은 이 부분을 반드시 인지하고 있어야한다고 봅니다.

2. RAP 테스트

RAP 테스트는 Reactive와 Proactive 테스트를 의미합니다. Reactive는 테스트 시점을 기준으로 기간별(3주전, 2주전, 1주전) 수집 악성코드에 대한 진단율을 측정하고, Proactive는 테스트 시점을 기준으로 1주 후에 수집된 악성코드의 진단율을 테스트합니다.  

따라서 Reactive는 업체의 DB 추가 능력(대응력)을 검사하고, Proactive는 DB 추가 전에 나타나는 사전 진단 능력을 검사합니다. Reactive는 DB 수집과 배포 능력이 뛰어날수록, Proactive는 휴리스틱 진단과 제너릭 진단이 뛰어난 제품일수록 유리합니다.

모든 악성코드의 진단이 불가능한 현 상황에서는 누적 진단율 테스트보다 중요한 테스트라고 봅니다

진단율에 따른 순위는 아래와 같습니다.

◈ RAP 테스트 진단율 순위
순위	Reactive 평균	Proactive 평균	전체 평균
1	Trusport Antivirus 2012 (99.61%)	G-DATA Antivirus 2012  (88.46%)	Trusport Antivirus 2012 (96.74%)
2	Emsisoft Anti-Malware   (98.63%)	Trusport Antivirus 2012  (88.14%)	G-DATA Antivirus 2012  (95.85%)
3	Ikarus virus.utilities(98.53%)	SecurityCoverage SecureIT 2011 (86.76%)	Emsisoft Anti-Malware(95.14%)

이카루스 엔진을 듀얼로 사용하는 다중 엔진 제품인 emisoft 제품이 순위권으로 올라왔습니다. Proactive도 10위권 안에 있을뿐만 아니라, Reactive에서도 2위에 올라 전체 평균 3위를 차지하였습니다. 이카루스와 마찬가지로 인증을 받지 못했지만, Emisoft의 누적 샘플 진단율과 진단 대응 능력은 상당한 수준인 것 같습니다.

안랩은 누적 샘플 진단율은 얼추 외국 유명 제품들과 비슷한 수준으로 올라왔지만, 해외 샘플 진단 대응과 사전 진단에서는 다소 뒤쳐지는 것 같습니다.

3. 수동 검사 및 실시간 감시 속도 테스트

검사는 기본 상태에서 첫 검사(Cold), 두 번째 검사(Warm)와, 모든 파일 검사시의 속도를 측정합니다. Warm 항목이 있는 이유는 대부분의 제품에 검사 최적화 기능이 도입되어 검사 속도가 향상되기 때문입니다. 검사는 압축 파일, 시스템 파일을 비롯한 일반 실행 파일, 미디어 및 문서 파일, 다른 일반 확장자 등을 나누어 진행하였습니다.

수동 검사와 실시간 감시에 대한 속도 테스트는 단위가 다릅니다. 수동 검사는 초당당 검사 데이타 크기(MB/s)를 단위로 한다면, 실시간 감시는 역으로 검사 데이타 크기 당 시간(s/MB)를 단위로 합니다. 검사 방법의 차이에서 나타나는 단위 문제 때문입니다. 따라서 수동 검사는 결과값이 클 수록 빠른 것이고, 실시간 감시는 결과값이 작을 수록 빠른 것입니다.


▶ 수동 검사 속도

---

▶ 실시간 감시 속도

---

시스템 드라이브 검사를 기준으로 수동 검사 속도가 가장 빠른 제품은 카스퍼스키입니다. 2012버전은 퍼포먼스 부분에서 매우 획기적인 발전을 한 것 같습니다.

개인적으로 느끼는 체감도와는 다소 다르지만, 실시간 검사 부분에서는 MSE가 압도적인 수준으로 뛰어난 성적을 보이고 있습니다. 다른 항목들도 비교적 나쁘지 않은 수준인 걸 보면 퍼포먼스 항목은 사용자의 주관적인 판단에 따라 편차가 큰 요인인 것 같습니다.

4. 시스템 퍼포먼스 테스트

시스템 퍼포먼스는 기본/작업시 RAM 점유율과 작업시 CPU 사용량, 파일 실행 딜레이 등을 측정합니다.
단, 절대치가 아니라 기본 상태에서 점유 및 사용량의 증가율을 표시하고 있습니다. 수치가 작을 수록 시스템 퍼포먼스가 좋습니다.

한가지 살펴보자면 안랩의 경우 작업 상태에서 CPU 사용율이 치솟는 것을 확인할 수 있습니다. 제품은 다르나 국내에서 많이 사용되는 무료 제품인 V3 lite도 위 IS 제품과 유사하게 메모리 사용율은 매우 적지만 수동 검사나 업데이트 등의 특정 작업시에 시스템 퍼포먼스를 무척 떨어뜨립니다.

다중 쓰레드를 이용한 검사 방식이 문제인지 다른 문제가 있는 것인지 모르겠으나, 상당수의 사용자가 보안 제품의 작업 도중에 사용자 작업을 원할하게 하고자 하기 때문에 개선이 필요하다 생각합니다.

---

64비트 환경임에도 비교적 많은 수의 제품이 참여했습니다. 점차 64비트 환경이 32비트 환경을 밀어내고 대세가 될 것임을 보여주는 항목이라고 생각합니다.

아직 행동 기반 진단 기능이나 특정 기능을 64비트에서 지원하지 않는 제품들이 많은데, 최소한 윈도우 8이 출시될 시점(2013년 전후)에서는 64비트 지원을 100% 확실하게 해주어야 한다고 생각합니다.


- 이상입니다.