MRG : Ongoing early life testing project - 초기 진단 능력 비교 테스트

신MRG의 새로운 테스트인 사전 진단 테스트에 대해서 알아봅니다.

저는 보안 전문가가 아니며 보안에 대하여 전문적이고 기술적인 지식을 지니고,
이 글을 작성하는 것이 아니므로 이 글에 오류가 있을 수 있음을 밝힙니다.  



▶ 관련글
 
- MRG 악성코드 테스트 #21 : 수동 검사 진단율
- MRG 악성코드 테스트 #20 : 실시간 감시 진단



출처 : MRG Forum

1. 테스트 정보

먼저 테스트 결과를 보겠습니다.

Bluepoint Security	PASSED
Immunet Protect Beta	FAILED
Panda cloud Beta	FAILED
Prevx	FAILED
A-Squared Anti-Malware	PASSED
Avira AntiVir	PASSED
Kaspersky Antivirus	PASSED
Microsoft Security Essentials	FAILED
Nod32	FAILED
IOBit Security 360	FAILED
Malwarebytes Anti-Malware	FAILED

MRG에서 이번에 새롭게 시도한 테스트인 "Ongoing early life test"는 적절한 한글 번역을 찾지 못했습니다. "초기 진단 능력 테스트, 또는 사전 진단율 테스트" 로 의역하면 내용상 비슷하긴 합니다.

사실 이 테스트는 기본적으로 클라우딩 진단 기능을 주 진단 기능으로 하는 제품과 전통적인(?) 진단 기능(기본 DB, 휴리스틱 진단 등)을 주 기능으로 하는 제품간의 비교 테스트입니다. 따라서 맥아피의 아르테미스처럼 제품 내에서 추가적인 진단 용도로 쓰이는 경우는 테스트에서 제외된 것으로 보입니다.

테스트에 대해 간략하게 설명하면 아래와 같습니다.  

최근들어 가장 많이 유포되는 게임/개인 정보 유출 악성코드인 Trojan 류들은 최초 배포 시점과 배포가 끝나는 기간이 매우 짧습니다. 이런 악성코드들은 길어야 일주일이고 보통 1~3일이면 배포가 중지되고 새로운 변종이 유포됩니다. 그래서 뒤늦게 신고 또는 수집을 통해 보안 업체에서 해당 샘플을 DB에 적용시키면 이미 배포가 끝나거나 거의 종료되는 시점에 이르게 되는 경우가 많아 DB의 숫자만 늘릴 뿐 실질적으로 의미가 없는 진단값이 되곤 합니다.

즉, 최근들어 극성을 부리는 상당수의 악성코드들은 활동하는 생명 기한이 매우 짧습니다. 따라서 보안 업체의 대응 속도보다 빨리 유포되고 사라지는 악성코드들에 대항하기 위해서 어느 때보다도 사전 진단 기능의 수준을 높이는 것이 중요해진 시점입니다.

이를 위해 여러가지 기능들이 도입되고 있는데, 그 중에서도 최근에 각광을 받고 있는 것이 클아우드 기술을 이용한 진단 기능입니다. 이는 맥아피의 아르테미스나 안랩의 ASD같은 기능에 이미 사용되고 있습니다. 이와는 다소 다르지만 노턴의 경우도 최신 버전에서 평판 시스템에 클라우딩 기능을 도입, 악성코드 진단에 효과적으로 사용하고 있습니다.

"Ongoing early life test" 이러한 클라우딩 진단 기능과 전통적인 방식의 진단 기능을 가진 제품의 초기 진단 성능 비교를 위해 수명이 짧은 악성코드를 이용하여 진단율 테스트입니다.

2. 테스트에 사용된 제품 정보

▶ The cloud based Anti-Malware products : 클라우딩 진단 기능 포함 제품

• Bluepoint Security 1.0.0.75
• Immunet Protect Beta 1.0.18
• Panda cloud Beta 3
• Prevx 3.0.5.10

▶ The traditional Anti-Malware products : 일반 진단 기능 포함 제품 (비교군)

• A-Squared Anti-Malware 4.5.0.27
• Avira AntiVir Premium 9.0.0.447
• Kaspersky Antivirus 9.0.0.736
• Microsoft Security Essentials 1.0.1611.0
• Nod32 4.0.468

▶ The complementary Anti-Malware products : 보완 목적의 보안 제품 - 참고 테스트

• IOBit Security 360 1.20.10
• Malwarebytes Anti-Malware 1.41

3. 테스트 방법

테스트 방법은 기본적으로 이전 MRG 테스트와 동일합니다.

윈도우(XP SP3) 설치 후 복구 이미지를 생성하여 보안 제품으로 진단 테스트 후 이미지를 통해 윈도우를 처음 상태로 되돌리고, 이후 반복적으로 테스트를 진행합니다.

사용한 악성코드는 2009년 11월 6일날 다운받은 50개의 샘플을 이용하였으며, 실시간 감시와 수동 검사등 악성코드 진단을 위한 시그니처 기능을 모두 사용합니다. 행동기반 탐지 기능을 이용한 진단은 이용하지 않은 것으로 보입니다.

여하튼 50개의 샘플을 모두 진단하면 PASSED, 하나라도 진단에 실패하면 FAILED로 처리됩니다.

MRG에서도 밝히고 있듯이 테스트 샘플이 매우 적다는게 큰 단점입니다.

4. 테스트 세부 결과

▶ The cloud based Anti-Malware products : 클라우딩 진단 기능 포함 제품

• Bluepoint Security 1.0.0.75 - PASSED
• Immunet Protect Beta 1.0.18 - FAILED (missed 1 sample)
• Panda cloud Beta 3 - FAILED (missed 1 sample)
• Prevx 3.0.5.10 - FAILED (missed 2 samples)
  

▶ The traditional Anti-Malware products: 일반 진단 기능 포함 제품

• A-Squared Anti-Malware - PASSED
• Avira AntiVir - PASSED
• Kaspersky Antivirus - PASSED
• Microsoft Security Essentials - FAILED (missed 11 samples)
• Nod32 - FAILED (missed 5 samples)

 ▶ The complementary Anti-Malware products : 보완용 제품

• IOBit Security 360 - FAILED (missed 49 samples)
• Malwarebytes Anti-Malware - FAILED (missed 5 samples)

 

테스트 상으로는 전통적인 진단 방식에 비해 클라우딩 진단 기능을 주 진단 기능으로하는 제품들이 다소 성능이 떨어지는 것으로 나타났습니다. 물론 샘플 수가 매우 적기 때문에 테스트 자체에 큰 의미를 둘 수는 없습니다만, 최근에 선보인 Immunet이나 Bulepoint 같은 클라우딩 이용 제품들은 전통적인 보안 제품을 대체할 만큼의 수준은 안된다는 것 정도는 알 수 있을 것 같습니다.

개인적으로 MRG의 테스트들을 잘 보고 있는데 이번에 소개한 테스트도 나름 의미가 있다고 생각합니다. 특히, 수명이 짧은 악성코드만을 따로 분류하여 초기 진단 능력을 테스트한 경우나, 클라우딩 진단 기능과 전통적인 진단 기능간의 비교 테스트를 하는 경우는  이 테스트가 유일하기 때문입니다.  

MRG 자체가 규모가 작고, 전문적인 인력이 운영하는 단체는 아니다보니, 테스트 자체가 좀 신뢰적이지는 못하지만 다양한 테스트와 리뷰를 제공하기 때문에 유용한 정보가 많은 것 같습니다.


- 이상입니다.