바이러스 블러틴 4월 테스트 결과 (VB100 , RAP) - Winodws XP SP3



Virus Bulletin의 WildList 샘플 측정 검사를 통한 VB-100 Pass 결과와 RAP 테스트 결과를
공유합니다.

저는 보안 전문가가 아니며 해당 프로그램에 대해 전문적이고 기술적인 지식을 가지고
이 글을 작성하는 것이 아니므로, 이 글의 일부 내용에는 오류가 있을 수 있음을 밝힙니다.



▶ 관련 포스팅

- 보안 제품 성능 테스트,  Av-Comparative 2월 테스트 결과

Virus Bulletin에서 올해 두 번째 안티 바이러스 제품의 테스트 결과를 발표하였습니다. 테스트는 현재 가장 많이 사용되고 있는 OS인 Windows XP (SP3)로 진행되었으며 총 39개 보안 제품, 34개 보안 업체가 참여하였습니다.

Virus Bulletin은 영국에 위치한 독립 민간단체로 2개월마다 서로 다른 OS에서 보안 제품들을 테스트를 진행하고 있습니다. 테스트에서 통과하게되면 VB100 로고가 찍혀있는 PassMark를 부여받고 있는데, Checkmark, ICSA Labs  등과 더불어 국제 3대 인증이라 불립니다. 국제적인 테스트 중에서 상대적으로 난이도가 상당히 높은 테스트로 알려져 있습니다.

또한, 올해부터 "RAP Test"라고 불리는 신규 샘플의 대응 속도 및 사전방역 진단율 테스트를 동시에 진행하고 있습니다. 이 테스트는 PassMark 인증과는 무관한 테스트이나 보안 제품의 성능을 판단하는데 도움이 되는 테스트입니다.

VB100과 RAP 테스트가 국내 여건과도 완벽하게 매칭된다 여겨지는 테스트는 아닙니다만, 보안 제품을 선택하는데 참고할 만한 매우 좋은 테스트입니다.

참고로 일반 사용자도 무료로 가입하여 테스트의 요약 보고서를 확인할 수 있습니다. 물론, 테스트 결과의 세부적인 내용은 유료입니다.

출처 : http://www.virusbtn.com/

1. VB100 - PassMark 인증

(1) VB-100의 인증 기준

---

 
① 보안 제품 설치시 생성되는 환경 설정을 가지고 테스트  (단, 수동 검사시에는 실시간 감시 종료)
② WildList(In the Wild ^[각주:1]) 샘플로 테스트
③ 실시간 감시 및 수동 검사로 테스트가 진행되며, 테스트에 쓰인 모든 샘플 진단율 검사
    - 모든 샘플 탐지
④ 따로 수집된 Clean file(정상 파일)에서 실시간 감시 및 수동검사에서 오탐지 검사
    - 모든 파일 미탐지. 즉, 오탐지가 없어야함

전세계에서 수집된 와일드리스트 샘플로 검사하여 이를 모두 진단해야하고, 정상파일의 오탐지가 없어야만하는 상당히 까다로운 테스트입니다. 와일드리스트 샘플에 대해서는 여러 논란이 있기도 합니다.
이에 대해서는 제가 자세히 설명할 만한 수준이 아닙니다만, 결론적으로 VB100 테스트는 각 보안 제품의 진단율을 측정하는 것과는 다소 무관한 테스트라 생각하시면 될 듯 합니다. 물론 유료 자료인 세부 결과에는 자세한 진단율 내역이 나옵니다.


따라서 일반적인 내용만을 보면 진단율을 가시적으로 확인할 수 있는 AV-test나 Av-comparatives에서 진행되는 테스트와 달리 VB100은보안 제품의 전세계적으로 유포되는 악성코드에 대한 대응 능력과 안정성(오진)을 판단하는 테스트로 생각되어집니다.(^[각주:2]) 

따라서 지속적으로 통과하는 것이 중요한 테스트입니다. 한두번 탈락하는 것은 크게 신경쓸 필요가 없으며, 성적이 좋다하여 각 사용자에게 만족을 줄 수 있는 제품도 아니라는 것을 꼭 참고하시기 바랍니다.

 
(2) VB100 테스트 결과

---

클릭 후 확대하여 보시기 바랍니다.

                                   
총 39개의 제품 중 11제품을 제외한 28개 제품이 통과하였습니다. 국내 제품으로는 유일하게 테스트에 참여한 안랩 제품은 XP 운영 체제에서는 근 4년만에 통과하였습니다. 최근에 리눅스os에서 테스트한 경우를 제외하고 모두 3연속 통과를 비롯한 통과율 증가 등 안랩의 선전이 눈길을 끕니다.

VB100 테스트의 우등생이라 불리는 시만텍(기업용)과 Eset은 이번에도 통과하였으며, 근 1년여만에 테스트에 참가한 비트디펜더도 통과하였습니다. 카스퍼스키를 비롯한 안티버, 어베스트, AVG 등 국내외에서 유명한 제품들도 모두 통과하였습니다. 국내에서 바이러스 체이서에 라이센싱된 엔진으로 유명한 닥터웹은 이번 일반 사용자용 OS 테스트에서도 불참하였습니다.


(3) 최근 5개 테스트 성적 정리

---

클릭 후 확대하여 보시기 바랍니다.

                                           

2. RAP TEST - Reactive and Proactive Test

올해 처음 실시된 RAP 테스트는 보안 제품의 악성코드 대응 능력과 사전방역 기술의 성능을 측정하기 위한 테스트입니다. VB100에서 유/무료로 제공하는 자료에서는 알 수 없었던 내용이기에 꽤나 흥미로운 항목이기도 합니다.


(1) RAP 테스트 기준 및 방법

---

1. 테스트 참여 마감 전 3주 전부터 시작하여 1주일 간격으로 총 3번 취득된 악성코드 샘플의 '진단율'을
    측정
2. 테스트 참여 후 1주일 동안 최초로 발견된 악성코드의 '진단율'을 측정
3. 설치시 제공되는 기본 설정 상태로 수동 검사를 통해 진단, 'Suspicious' 와 같은 의심 진단은 무시

1번 테스트는 1주일 간격으로 취득된 악성코드 샘플의 진단율을 측정하기 때문에 시간의 흐름에 따른 보안 제품의 DB 대응 능력을 판단할 수 있습니다. 즉 최근에 발견된 샘플을 얼마나 빨리 DB에 추가하여 진단할 수 있는가를 판단하기 위한 테스트(Reactive test)입니다.

2번 테스트는 테스트 참여가 마무리 된 이후에 발견된 악성코드를 테스트하는 것인데 이부분은 세부적인 부분을 좀더 알아야 하겠습니다만, 휴리스틱 진단을 통해 사전방역 기술의 성능을 테스트(Proavtive test) 입니다.  테스트 실시 시점을 기준으로 하기 때문에 테스트 참여가 마무리되면 더 이상의 DB 추가가 보안 제품에서 이루어지지 않습니다.

3번 항목이 중요한데, 사실 해당 테스트는 대응력과 사전 진단력을 측정하는 것인데 의심 진단과 관련된 진단을 무시하는 것이 흥미롭습니다. 제너릭 진단을 포함 정식 진단을 이용한 진단을 중요하게 보는 것 같은데 오진 문제와 맞물려서 그런 것 같습니다.

이 테스트는 VB100과 달리 '진단율'을 측정하는 테스트로 VB100과는 테스트의 성격이 매우 다릅니다. 예전부터 논란이 되어왔던 와일드리스트 기반의 VB100 테스트의 부족한 부분을 채우기 위한 테스트로 보이며, 보안 업체의 대응 능력과 제품의 사전진단의 성능을 유추할 수 있는 테스트입니다.


(2) 테스트 결과

                                            클릭 후 확대하여 보시기 바랍니다.

테스트 결과는 각 그래프의 옅은 파란색은 1번 테스트로 각각 3주, 2주, 1주 전에 취득된 샘플의 진단율을 의미하며, 마지막 짙은 파란색은 1주 후에 취득된 샘플의 진단율로 2번 테스트의 결과를 의미합니다.

테스트 중 오진이 발생하였을 경우 빨간색 배경과 'X' 표시가 표시되며 오진된 숫자가 기입됩니다.

마지막 RAP % 의 숫자는 4주 동안의 모든 샘플의 평균 진단율을 의미합니다.

주의해야 할 점은 이 테스트는 다른 사전방역 테스트들과 달리 기존 DB에 샘플의 추가 여부는 고려하지않는다는 점입니다. 따라서 테스트의 이름처럼 대응과 사전 차단 의 종합적인 결과를 보여준다고 생각합니다. 

첫 테스트 결과이기에 확정짓기는 어렵지만 비교적 휴리스틱을 비롯한 사전방역 기술이 잘 발달된 제품이 비교적 진단율이 높은 것 같습니다.


- 이상입니다.

1. 국제적으로 두 지역 이상에서 발견된 최근에 유포된 악성코드(바이러스, 웜 등)를 지칭하며 대부분 최근까지 활동하는(혹은 했던) 악성코드입니다. 여기서는 스파이웨어나 애드웨어, 리스크웨어 등은 제외됩니다. [본문으로]
2. 시만텍과 같은 글로벌 업체가 안랩과 같은 로컬 업체에 비해 다소 유리한 부분이 있다고 합니다. 물론 eset 같은 로컬 업체의 제품도 괴물과 같은 성적을 보입니다만, 일반적으로는 로컬 업체들이 다소 불리한게 사실인 것 같습니다. [본문으로]