[VB100, RAP] : 08월(2010) 바이러스 블러틴 테스트 결과 - 전체 보고서

이번에 완전히 공개된 2010년 8월 자료의 세부 자료를 살펴봅니다.

▶ 관련글
- [VB100, RAP] : 04월(2011) 바이러스 블러틴 테스트 결과 - XP Professional SP3
- 바이러스 블러틴 8월(2010) 테스트 결과 VB100 , RAP - Windows Vista SP2 Business Edition

▶ 출처 : http://www.virusbtn.com/

---

이전 4월 자료에서 언급한 것처럼 공개 기준으로 6개월 전에 발표된 vtn의 유료 자료들이 모두 공개되었습니다. 공개된 자료 중 가장 최근 자료인 2010년 8월 자료를 살펴보도록 하겠습니다.

바이러스 블러틴(이하 VTN)에서 실시하는 테스트들은 아래와 같습니다.

- VB100 인증 (와일드 리스트 검출, 오진 검출)
- 악성코드 진단율 테스트 (웜, 봇, 다형성 바이러스, Trojan 등)
- RAP 테스트 (사전 방역 및 대응 수준 검사)
- 압축 파일 검사 수준 테스트 (압축 깊이 별 진단)
- 수동 검사 및 실시간 감시의 속도 테스트
- 퍼포먼스 테스트 (시스템 리소스 사용율)

※ 일부 제품(카스퍼스키 등)의 경우 테스트 결과가 수정되었습니다. 여기서는 수정 자료를 기준으로 살펴봅니다.

1. 악성코드 진단율 테스트

VTN에서는 악성코드 진단율 테스트를 수동 검사와 실시간 감시로 나누어 각각 진단율을 측정합니다. 또한, 기본 설정 상에서 이루어집니다. 정확한 정보는 없지만 실시간 감시 기능은 시그니처 진단만 사용하는 것 같습니다.

일반적으로 실시간 감시의 진단율이 수동 검사 진단율과 비슷하거나 다소 떨어집니다. 이는 보통 퍼포먼스를 위해 설정상 감시 강도를 낮추기 때문입니다. 하지만 재밌게도 특정 제품(AVAST 등)의 경우에는 실시간 감시에서 수동 검사보다 높은 진단율을 보입니다. 

                                                             수동 검사 진단율

                                                            실시간 감시 진단율


단일 엔진에서 AVIRA의 강력한 진단율이 돋보입니다.  웜, 다형성 바이러스, Trojan 등 종류를 가리지 않고 최상위에 머무르고 있습니다. 그 뒤로는 의외로 MSE가 선전하고 있습니다. 물론 Coranti, G-data, Lavasoft total, Trustport 등 다중 엔진들이 누적 샘플에 대한 진단율면에서 매우 뛰어납니다. 

AVAST, AVG, ESET 등 국내에서도 유명한 제품들도 상위권에 머무르고 있습니다. 카스퍼스키는 안정성을 강조하는 기업용 제품에 비해 개인용 제품의 진단율이 높다는 점이 눈에 띕니다. 시만텍의 경우 이들 제품에 비해 상대적으로 진단율이 떨어지는 것을 알 수 있습니다. 실제 상황에서도 기업용 제품이기에 인사이트 기능이 포함안되어 있고, 개인용 제품과는 다소 다른 행동 기반 진단 모듈을 사용하기에 진단율 자체는 떨어지리라 봅니다.

대체적으로 F-secure를 비롯해서 Escan, Qhioo등 비트디펜더 엔진을 사용하는 제품들이 선전하고 있습니다. 비트디펜더보다 조금씩 진단율이 높은데, 자체엔진을 통한 진단이 있다는 증거로 보시면 되겠습니다.

자체 엔진을 사용하는 중국 제품(Rising, kingsoft 등)들의 진단율은 하위권입니다. 특히 다형성 바이러스 진단에 매우 취약한 것으로 보입니다. 과거 국내 제품들(라고 해봤자 안랩 정도지만)도 다형성 바이러스에 대한 진단율이 매우 떨어졌었는데, 이와 비슷해 보입니다. 이 부분은 앞으로 개선이 되긴 하겠는데, 국내 제품과 비슷한 발달 과정을 보인다는 점이 재밌어 보입니다. 

이카루스 엔진을 사용하는 Emisoft는 수동 검사와 실시간 감시에서 나타나는 진단율의 차이가 큽니다. 이는 Emisoft의 실시간 감시 방식에 의한 것으로 보이는데(기본적으로 행동 기반 진단), 실시간 감시의 진단을 중요시하는 입장에서는 다소 기피되는 제품입니다.

최근 삼성 노트북과 관련되어 공개적으로 오진이 들어나 망신을 당한 VIPRE의 경우 상당히 준수한 진단율을 보이고 있음을 알 수 있습니다. 오래전 이야기지만 휴리스틱 진단을 빼고 보면 오진이 그리 심한 제품은 아닙니다.

안랩의 경우 ASD가 포함 안 된 기업용 제품이고, 테스트 시점에서는 DNA 스캔 등 새로운 진단 알고리즘이 없는 상태인지라 진단율이 하위권에 머물고 있습니다. 물론 지금과는 다소 다르다고 봅니다. 하지만 CA를 제외하고는 주로 중국 제품들과 비교되는 수준이며, 이는 아직 로컬 업체 수준을 벗어나지 못하고 있음을 보여준다고 생각합니다.

2. RAP 테스트

RAP 테스트는 Reactive와 Proactive 테스트를 의미합니다. Reactive는 테스트 시점을 기준으로 기간별(3주전, 2주전, 1주전) 수집 악성코드에 대한 진단율을 측정하고, Proactive는 테스트 시점을 기준으로 1주 후에 수집된 악성코드의 진단율을 테스트합니다.  

따라서 Reactive는 업체의 DB 추가 능력(대응력)을 검사하고, Proactive는 DB 추가 전에 나타나는 사전 진단 능력을 검사합니다. Reactive는 DB 수집과 배포 능력이 뛰어날수록, Proactive는 휴리스틱 진단과 제너릭 진단이 뛰어난 제품일수록 유리합니다.

모든 악성코드의 진단이 불가능한 현 상황에서는 누적 진단율 테스트보다 중요한 테스트라고 봅니다.

하지만 카스퍼스키의 기업용 제품의 Proactive 진단율이 개인용보다 높은 점 등 몇몇 특이한 점을 제외하고는, 테스트 결과 자체는 앞선 누적 테스트와 비슷합니다. Reactive와 Proactive 모두에서 AVAST, AVG, AVIRA, Bitdefender, Eset, Emisoft, Ikarus, Kaspersky 등이 매우 뛰어남을 알 수 있습니다. 또한 비트디펜더 엔진과 다중 엔진을 사용하는 제품들 또한 높은 진단율을 보이고 있습니다. 

시만텍은 여기서도 중간 수준의 결과를 보여주고 있는데, 클라우드 진단에 대한 결과 반영이 필요한 시점이라고 봅니다. 물론 클라우드 진단은 특성상 누적 샘플 진단율외에는 측정이 불가능하기 때문에 이런 테스트에는 반영이 어려운 점이 있습니다. 앞으로 좋은 아이디어가 나오길 빕니다.

마지막으로 안랩을 비롯해서 중국 제품들은 최하위권에 머물고 있습니다. 최근 자료와 비교해보면 DNA 스캔(제너릭 진단)의 효과를 확인하실 수 있습니다.

아래는 RAP 테스트 결과를 그래프로 표현한 것입니다.

3. 압축 파일 테스트

압축 파일 테스트는 Eicar를 이용해서 측정합니다. 테스트는 압축 파일 검사 가능 여부와 가능한 압축 깊이(depth)를 측정합니다. 기본적으로 수동 검사(OD), 실시간 감시(OA)에서 모두 측정합니다.

도표상 X/V 로 표시되는 부분은, 앞은 기본 설정 상태, 뒤는 환경 설정상의 조정을 의미합니다. X는 검사 불가능, V는 10레벨 이상되는 깊이의 압축 파일 검사 가능, 숫자는 해당 숫자의 깊이까지만 검사가 가능함을 나타냅니다.

대부분의 제품들이 실시간 감시에서는 압축 파일 검사를 지원하지 않거나, 설정 변경을 통해서 일부 깊이까지 진단함을 알 수 있습니다. 하지만 일부 제품의 경우 실시간 감시의 압축 파일 진단 기능 결과가 실제와 다소 다른 것을 보입니다. 예를 들어 카스퍼스키의 경우 설정에 따라 실시간 감시에서도 압축 파일 검사가 가능합니다.  참고로 살펴보시기 바랍니다.

4. 수동 검사 및 실시간 감시 속도 테스트

검사는 기본 상태에서 첫 검사(Cold), 두 번째 검사(Warm)와, 모든 파일 검사시의 속도를 측정합니다. Warm 항목이 있는 이유는 대부분의 제품에 검사 최적화 기능이 도입되어 검사 속도가 향상되기 때문입니다. 검사는 압축 파일, 시스템 파일을 비롯한 일반 실행 파일, 미디어 및 문서 파일, 다른 일반 확장자 등을 나누어 진행하였습니다.

수동 검사와 실시간 감시에 대한 속도 테스트는 단위가 다릅니다. 수동 검사는 초당당 검사 데이타 크기(MB/s)를 단위로 한다면, 실시간 감시는 역으로 검사 데이타 크기 당 시간(s/MB)를 단위로 합니다. 검사 방법의 차이에서 나타나는 단위 문제 때문입니다. 따라서 수동 검사는 결과값이 클 수록 빠른 것이고, 실시간 감시는 결과값이 작을 수록 빠른 것입니다.

                                                              수동 검사 속도

그래프는 원본 크기가 작어 명확하게 보이지는 않습니다. 상대적인 크기만 살펴보시기 바랍니다.  카스퍼스키를 비롯한 일부 제품은 warm 검사에서 폭발적인 속도 증가를 보이는 것을 알 수 있습니다.

                                                               실시간 감시 속도

수동 검사와 단위가 달라 초기 검사와 후기 검사 사이에 폭발적인 변화는 없지만, 최적화 기능의 성과가 눈에 보이고 있습니다. 

그나저나 제가 알기로는 안랩 8.0에도 최적화 기능이 포함된 것으로 아는데 아무런 변화가 없는 점이 이상합니다.

5. 시스템 퍼포먼스 테스트

마지막 검사 항목으로 시스템 리소스 사용율을 측정하는 퍼포먼스 테스트 결과입니다. 일반 상태에서의 램 사용율과, 큰 용량의 파일 접근시의 램 사용율, CPU 사용율 등을 측정합니다.

최근의 환경에서는 물리 RAM등의 사용율보다는, HDD에 대한 I/O량과 가상 메모리 사용, 멀티코어 사용을 통한 작업 분배 효과 등이 더 중요하다고 봅니다. VTN의 테스트도 'AMD Phenom II x2 550'에 램 4기가 등 그리 낮지 않은 사양을 가지고 검사하고 있습니다. 따라서 일반 상태와 작업량이 많을 때의 상대적인 차이만을 살펴보시기 바랍니다. 

 

 

  

 

 

 

 

 

---

검색을 해보면 일부 업체들이 유출한 유료 정보를 심심찮게 볼 수 있습니다. 저도 과거 자료 중 몇 개는 갖고 있을 정도입니다. 하지만 유료 정보인지라 이런 자료를 찾아도 공개를 못했었는데, 이제는 맘 편히 같이 나눌 수 있을 것 같습니다. 그래도 물론...

위 테스트외에 개별 제품에 대한 평가 부분도 재밌는 점이 많습니다. 대부분 퍼포먼스와 오류에 관련된 정보인데, 의외로 많은 제품들에서 오류가 나타나나 봅니다. 여기서는 그냥 넘어가지만, 관심있는 분들은 꼭 살펴보길 바랍니다.


- 이상입니다.