[VB100, RAP] : 10월(2010) 바이러스 블러틴 테스트 결과 - Windows Server 2003



▶ 바이러스 블러틴 테스트 (VB100 & RAP)

- 바이러스 블러틴 4월(2009) 테스트 결과 (VB100 , RAP) - Winodws XP SP3
- 바이러스 블러틴 2월(2010) 테스트 결과 VB100 , RAP - SUSE Linux
- 바이러스 블러틴 4월(2010) 테스트 결과 VB100 , RAP - Windows XP SP3
- 바이러스 블러틴 6월(2010) 테스트 결과 VB100 , RAP - Windows Server 2008 R2
- 바이러스 블러틴 8월(2010) VB100 , RAP - Windows Vista SP2 Business Edition

▶ 출처 : Virus Bulletin

---

2010년 5 번째 VB100 및 RAP 테스트 결과가 발표되었습니다. 해당 악성코드 진단 테스트는 영국에 위치한 보안 관련 연구 단체인 바이러스 블러틴(Virus Bulletin)에서 수행합니다.

이번에 사용된 OS는 Windows Server 2003으로 여전히 많이 쓰이고 있는 MS의 서버 제품군입니다. 그러나 테스트에 참여한 제품은 38개로 개인용 OS 환경에 비해서는 적은편입니다. 그러나 국내 주요 보안 업체인 안랩, 하우리, SGA 등이 참여하였고, 방화벽으로 유명한 코모도가 최초로 참여했다는 점에서 10월 테스트는 다양한 사용자들의 관심이 주목된 테스트였다고 생각합니다.

그러나 미리 말하자면, '참여의 결과는 매우 실망스럽다.'라고 말할 수 있겠습니다.

※ VB100과 RAP 테스트에 대한 정보는 위 링크의 4월(2009) 자료를 참고하시기 바랍니다

1. VB100 인증 결과

먼저 국내 보안 제품을 이야기해봅니다. 앞서 언급한 것처럼 국내 주요 보안 제품 중 안랩의 'V3 Net'와 하우리의 '바이로봇', SGA의 'SGA-VC' 등 서버 환경에서 사용가능한 제품들이 참여하였는데, 모두 탈락하였습니다.

탈락 내역을 보면 안랩의 경우 4개의 오진이 있었으며, SGA는 10개의 와일드 리스트 샘플 미검출, 그리고 바이로봇의 경우 무려 '3607'개의 와일드 리스트 샘플 미검출과 1개의 오진으로 인한 탈락이었습니다.

안랩 입장에서는 다소 아쉬운 테스트였다 생각합니다. 현재 대부분의 제품군에 적용된 DNA 스캔(휴리스틱) 기술이 다음번 테스트에서 설정되어 테스트 될 것으로 보이는데, 외국에서 진행하는 테스트이니만큼 외국 프로그램과 시스템에 대한 오진 문제에 더욱 신경을 써야할 것으로 보입니다.

바이로봇의 경우 충격적인데, 유료 결제를 통한 전체 내용을 보지 못하여 자세한 것은 모르겠으나 일반적으로 사용되는 개인용 제품과 DB의 차이가 있거나 비트디펜더 엔진이 제외된 제품이 아닌가 생각하고 있습니다. 어찌되었든 소수의 미검출이나 오진이 아닌 수천 단위의 와일드 리스트 샘플 미검출은 제품의 성능에 크게 의구심을 갖게하는 부분이 아닌가 합니다.

하우리는 비트디펜더의 db를 실시간으로 받아와 적용하는 것이 아니라 기한 별로 받아와 점검 후 적용하기에 비트디펜더와 차이를 보일 수 있지만, SGA는 약간의 차이를 두고 거의 실시간으로 DB를 받아오기에 다소 의외입니다. 일단 비트디펜더가 통과하였기에 비트디펜더 엔진의 문제가 아닌 자체적인 문제로 보이는데, 정확한 정보는 나중에 유료 정보를 구하게되면 추가하도록 하겠습니다.


이번에 최초로 참여한 코모도는 제품 홍보 때문인지 동일한 엔진을 사용하기에 진단 능력에는 차이가 없는 안티 바이러스와 인터넷 시큐리티 제품군(둘다 서버용)을 동시에 참여시켰는데 7개의 와일드 리스트 샘플 미검출로 탈락하게 되었습니다. 첫 참여치고는 괜찮은 성적이라고도 할 수 있겠지만, 아직까지 안티 바이러스 측면에서는 부족한 부분이 많다고 평가할 수 있겠습니다. 개인적으로 느끼기에는 진단이 다소 민감한 제품인데 오진이 없다는 부분이 흥미롭습니다.

코모도와 함께 처음 참여한 "avertive"는 영국에 기반을 둔 보안 업체로 제가 알기로는 방화벽과 시스템 최적화 프로그램을 주로 다루던 업체입니다. 이번에 새롭게 안티 바이러스 제품군을 출시하면서 홍보를 위해 테스트에 참여한 것으로 보입니다. 결과는 22개 미걸출로 탈락. 안티 바이러스의 엔진 정보는 확인되지 않았습니다.

그 외에 FRISK의 F-Prot도 미검출 1개로 탈락하였습니다. 이 제품을 언급하는 이유는 현재 개인적으로 리뷰중인 Returnil 제품 때문입니다. Returnil은 F-prot의 3버전대의 엔진을 사용하고 있는데, DB를 실시간으로 받아오는 것은 아닌 것 같습니다. 이번 테스트에서도 F-prot에 비해 훨씬 많은 미검출(10개)와 오진으로 탈락하였습니다. 확실히 전문적인 안티바이러스 업체가 아니다보니 대응 능력이나 오진 제어 등이 원본에 비해서는 다소 부족해 보입니다.

Avira, Avast, AVG 등 소위 'Big A' 형제들은 모두 통과하였고 카스퍼스키를 비롯한 F-secure, ESET, MS 등의 통과가 눈에 띕니다. Sysmantec(노턴)의 경우 최근 들어서는 서버 제품군 환경에서는 제품을 테스트하지 않고 있습니다.

그 외에는 Emisoft의 탈락 등이 보일 뿐 특별한 부분은 없습니다.


아래는 최근 5회 통과 내역입니다. Big A와 ESET은 올해 매우 좋은 성적을 거두었는데 또 다른 A 시리즈인 Agnitum도 조용스레 100% 모두 통과하고 있습니다.

 

2. RAP TEST

8월 자료와 비교하여 큰 차이는 없습니다. 누적 자료이다 보니 기한에 따른 변화를 정확하게 파악하기 어렵다는 점이 아쉽습니다. 

새롭게 참여한 코모도는 중반대의 성적을 보이고 있는데 사전 진단 부분이 생각보다 민감하지는 않은 것 같습니다.  하우리도 분명히 테스트 결과에 보여야하는데, 어떤 이유에서인지 보이지 않고 있습니다.

아래는 모 업체에서 (불법적으로 ㅎ) 올린 자료인데 8월달 테스트 결과 중 일부 자료를 기반으로 표현된 그래프 자료입니다. 누적 자료와 비교하여 보신다면 참고가 될 것 같습니다.

Ad-Aware의 경우 사용되는 안티 바이러스 엔진에 따라 사전 차단율과 대응 진단율이 변하는 것을 알 수 있습니다. G-data(Total), VIPRE(PRO)보다 약간 높은 수준을 보이는 것을 보면 자체 엔진과 휴리스틱 엔진들이 어느 정도는 제 역활을 하고 있는 것 같습니다.

Frisk와 Returnil도 약간 차이가 발생하고 있습니다. Returnil의 경우 자체적인 엔진이 클라우드 방식이라 테스트에 반영이 안될 듯 한데 차이가 발생하는 점이 흥미롭습니다. 


다음 테스트에 안랩이 참여한다면 최근에 선보인 휴리스틱 기술이 적용되어 테스트 될 것으로 보입니다. 개인적으로 시그니처 항목에서 다중 엔진을 사용하는 G-data나 Coranti과 비교해도 사전 진단과 대응 진단율이 큰 차이가 없는 Eset 과 AVIRA을 여겨보는데, 안랩은 이런 제품들과 비교해서 어느 정도 수준까지 올라 갈 수 있을 지 매우 궁금해집니다.

---

현재 국내 보안 업체들이 새로운 제품들을 선보이거나 선보일 예정이라 이번 10월 테스트는 야심차게 준비하였을 터인데, 결과가 매우 아쉽습니다. 심기일전해서 2010년 마지막 테스트인 12월 테스트에서는 좋은 소식이 있기를 바랍니다.


- 이상입니다.