MRG 악성코드 테스트 #20 : 실시간 감시 진단

▶ 관련글

- 2009/05/04 - 4월 MRG 수동 검사 진단율 테스트



저는 보안 전문가가 아니며 보안에 대하여 전문적이고 기술적인 지식을 지니고,
이 글을 작성하는 것이 아니므로 이 글에 오류가 있을 수 있음을 밝힙니다.  

이번에 소개할 테스트는 MRG의 실시간 악성코드 진단 테스트에 대한 내용입니다. 실시간 감시 항목에 대한 테스트는 이번이 두 번째 테스트인데 아마 앞으로도 꾸준히 이루어질 것 같습니다. 그래서 참고삼아 소개합니다. MRG가 어떤 곳인지에 대한 간략한 설명은 위 링크에 있으니 참고 바랍니다.

출처 : Malware Research Group Project #20 - RWS Real Time test

1. 테스트 참가 제품

 아래와 같이 테스트 당시의 최신 버전(비정식 포함)을 테스트에 이용하였습니다.

• avast! Professional Edition 4.8.1351
• AVG Anti-Virus 8.5.409 Build 1634
• Avira AntiVir Premium 9.0.0.446
• BitDefender AntiVirus 2010 Build 13.0.15.297
• COMODO Internet Security 3.11.108364.552
• Dr.Web 5.00.1.08170
• eScan Antivirus Edition 10
• F-Prot Antivirus 6.0.9.2
• F-Secure InternetSecurity 2010 10.00 Build 246
• G DATA InternetSecurity 2010 20.0.3.0
• Ikarus Virus Utilities 1.0.97
• Kaspersky Anti-Virus 2010 9.0.0.463
• McAfee VirusScan Plus 2009 13.15.101
• Microsoft Security Essentials 1.0.407.0 (BETA)
• NOD32 Antivirus 4.0.437
• Norman Virus Control 5.99 R14
• Norton AntiVirus 2009 16.5.0.134
• Online Armor ++ 3.5.0.32
• Panda Antivirus Pro 2010 9.00.00
• Panda Cloud Antivirus 0.08.82
• Prevx 3.0.1.65
• Spy Emergency 2009 6.0.605
• Twister Anti-TrojanVirus V7 R3(7.32)
• VIPRE® Antivirus + Antispyware 3.1.2775

2. 테스트에 쓰인 악성코드

이전에 소개한 수동 검사는 약 40만개의 비교적 많은 수의 샘플로 테스트하였는데, 이번 테스트에서는 60개의 매우 적은 수의 악성코드만을 가지고 테스트에 임하였습니다.  

테스트에 쓰인 악성코드는 모두 일반 PC에서 취득한 것으로 2009년 8월 5일부터 27일까지 23일 동안 수집되었습니다.

테스트에 쓰인 악성코드에 대한 개별 명칭은 MRG에서 소개하였으니 출처 링크를 참고 바랍니다.

참고로 테스트 샘플의 명칭을 살펴보면 모두 카스퍼스키 제품의 진단명입니다. 모든 샘플을 진단한 제품 중 하나가 카스퍼스키이고 샘플 진단명이 체계적이라, 모든 샘플의 진단명을 통일한 것으로 보입니다. 상식적으로 감염된 PC에서 카스퍼스키에서 진단한 샘플을 가지고 테스트에 임하지는 않았으리라 생각됩니다. 

문제는 기본적으로 테스트 샘플 수가 너무 적다는 것입니다. 그리고 이미 감염된 PC에서 찾은 샘플이기 때문에 최근의 악성코드 유포에서 보이듯이 이러한 최종적으로 활성화되는 악성코드를 다운받거나 생성하는 중간 과정의 악성코드들이 빠졌을 확률이 높다고 생각됩니다. 악성코드의 범람으로 인해서 일부 악성코드는 중간 과정의 악성코드만을 진단하는 경우도 있는데 그런 상황이 반영이 안되는 테스트라는 것도 아쉽습니다.
 
테스트 샘플이 적다는 것이 상당히 아쉽습니다. 어렵게 테스트한 MRG 관계자 분들에게 죄송하지만 결국 이전 virus.gr처럼 신뢰성이 상당히 떨어지는 참고 자료로 여겨야할 것 같습니다.

3. 테스트 환경

이전에 소개한 수동 검사 테스트와 유사합니다. Vmware을 이용한 가상 환경에서 XP SP3 OS에서 테스트가 실시되었고 기본적으로 네트워크 미연결 상태에서 보안 제품을 테스트 하였습니다.

모든 보안 제품은 테스트 시기에 모든 업데이트가 끝난 상태이며 설치 당시의 기본 옵션을 이용하여 테스트하였습니다. 테스트 제품 중에는 사용자가 감시 강도에 대한 옵션 설정을 해야만 하는 제품도 있는데 그 부분에 대해서까지는 설명하지 않고 있습니다.

테스트는 각 제품이 활성화된 상태에서 악성코드를 실행시켜 악성코드의 활동을 차단하느냐 못하느냐를 테스트하였습니다. 시그니처에 포함된 악성코드는 기본적으로 실행전에 차단되었을 것이라 생각되고 시그니처에서 놓쳤다하더라도 행동기반탐지 기술이 있는 제품들은 해당 기능으로 악성코드 활동을 차단하도록 합니다.

실시간 감시 항목이고 최근에는 클라우딩 기술을 이용한 진단 방식도 존재하기 때문에 에프시큐어 및 판다 클라우드같은 일부 제품은 테스트 시기에 잠시 네트워크 연결을 허용하였습니다.

그런데 판다의 클라우드 제품처럼 맥아피에도 아르테미스라는 클라우딩 기술이 있는데 이 제품은 네트워크 연결을 허용하지 않은 것으로 보입니다. 판단 기준이 무엇인지 조금 아리송합니다.

4. 테스트 결과

Program	Blocked	Missed	MRG Project#20
a-squared	60	0	Passed
Avast	58	2	Failed
AVG	59	1	Failed
AVIRA	60	0	Passed
BitDefender	53	7	Failed
Dr.Web	57	3	Failed
eScan	52	8	Failed
F-Prot	46	14	Failed
Ikarus	60	0	Passed
Kaspersky	60	0	Passed
Microsoft (BETA)	57	3	Failed
Nod32	58	2	Failed
Norman	50	10	Failed
Norton	58	2	Failed
Panda	60	0	Passed
Panda Cloud	60	0	Passed
Prevx	60	0	Passed
Spy Emergency	44	16	Failed
Twister	58	2	Failed
VIPRE	60	0	Passed

Program	Blocked	Missed	MRG Project#20
COMODO	60	0	Passed
F-Secure	60	0	Passed
G DATA	60	0	Passed
McAfee	59	1	Failed
Online Armor++	60	0	Passed

개인적으로 VIPRE가 60개를 모두 진단한 것이 가장 먼저 눈에 띕니다.
 
맥아피는 아르테미스를 활성화 시킨 상태에서는 어떤 결과가 나왔을까 궁금합니다.

G data는 어베스트와 비트디펜더가 탈락한 상황에서 각각 진단하지 못한 샘플들이 절묘하게 다른 제품에서 진단하여 통과하였나 봅니다. 이중 엔진의 승리?라 생각되는군요.

에프시큐어 경우도 2010버전으로 테스트에 임하였는데 비트디펜더 엔진에서 놓친 샘플을 딥가드에서 모두 차단하였나 봅니다.



- 이상입니다.