4월 MRG 수동 검사 진단율 테스트



▶ 관련글

- 바이러스 블러틴 4월 테스트 결과 (VB100 , RAP) - Winodws XP SP3
- AV-Comparatives 2월 수동 검사 진단율 테스트 (2009)
- 보안 제품의 성능 테스트에 대한 의견



▶ 출처 : 바이러스 제로2  지킴이님 - http://cafe.naver.com/malzero/36012

Malware Research Group(MRG)라는 민간 보안 분석 단체에서 여러 보안 제품의 수동검사 진단율을측정하는 테스트 결과를 내놓았습니다.

MRG는 네트워크를 통해 각 지역의 회원들이 모여 보안과 관련된 테스트, 리뷰 등을 시행하는 소규모 연구 단체입니다. 다양한 테스트, 보안 제품 리뷰와 보안 관련 연구를 개인 후원 및 홈페이지 광고 등을 기반으로 외부의 도움없이 자체적으로 진행합니다. 정확한 단체의 구성과 규모는 알 수가 없지만 VB100이나 AV-TEST 등과 같은 기관에 비해서는 매우 작은 단체입니다. 그리스 테스트로 알려진 Virus.gr이나 다른 소규모 테스트 단체들과 비슷할 것으로 예상합니다

1. 테스트에 쓰인 제품 정보

이번 테스트는 XP SP3 환경에서 각 보안 제품의 업데이트가 최신인 상태에서 네트워크 미연결 상태로 진행되었습니다.

1. a-squared Anti-Malware 4.0.0.79
2. avast! 4.8.1335
3. AVG Anti-Virus 8.5.287 Build 1483
4. Avira AntiVir Premium 9.0.0.420
5. BitDefender AntiVirus 2009 Build 12.0.12.0
6. COMODO Internet Security 3.8.65951.477.
7. ClamWin Free Antivirus 0.95.1
8. Dr.Web 5.00.1.04130 for Windows
9. ESET Nod32 Antivirus 4.0.417
10. F-Secure Internet Security 2009 9.00.149
11. G DATA InternetSecurity 2009 19.0.0.53
12. Kaspersky Anti-Virus 2009 8.0.0.506
13. Norman Antivirus & Anti-Spyware 7.10
14. Norton AntiVirus 2009 16.5.0.134
15. Sophos Anti-Virus 7.3.0
16. Twister Anti-TrojanVirus 7.32
17. eScan Antivirus Edition  V10
18. McAfee VirusScan Plus 2009

2. 테스트에 쓰인 샘플 정보

이번 테스트에 쓰인 악성코드들은 2008년 1월부터 12월까지 취득한 약 40만개의 샘플이라고 합니다.

1. Windows/Macro Viruses- 18,696
2. Trojans/Backdoors- 243,811
3. Worms/Rootkits- 86,634
4. Adware/Spyware- 46,703

3. 테스트 결과



Pogram	Detection Rate (%)
a-squared	99.6%*
Avira	99.6%*
G DATA	99.4%
Avast	99.2%
Norton	99.0%
Kaspersky	98.8%
BitDefender	98.7%
eScan	98.5%
F-Secure	98.3%
McAfee	98.1%
Nod32	97.6%
AVG	96.9%
COMODO	96.2%
Twister	95.7%
Sophos	93.5%
Norman	93.2%
Dr.Web	86.3%
ClamAV	85.7%

                                     
     

A-squared와 안티버는 서로 99.61%로 동률입니다. 이카루스와 자체엔진의 듀얼구조인 A-squared와 안티버가 최고 점수를 획득하고, 그 뒤로 Avast와 빗디의 듀얼 구조인 Gdata가 3위를 차지하였습니다.

꽤 흥미로웠던 것은 코모도 제품이 상당한 진단율을 보였다는 점입니다. 코모도 제품은 여러 국제 테스트에 모습을 보이지 않아 진단율이 어떨지 궁금했었는데 생각외로 높은 점수를 얻었습니다.

맥아피 경우는 아르테미스 포함 제품군이나 네트워크 연결을 끊은 상태에서 진행되었기 때문에 진단율에 손해를 봤을 듯 합니다.

4. 테스트의 한계 및 유의점

새로운 테스트에 대한 부연 설명을 추가하고 마치도록 하겠습니다. 

(1) 한계 - 샘플 문제

---

이 테스트는 과거 그리스 테스트라 불렸던 Virus.gr의 악성코드 진단율 테스트와 비슷한 수준의 테스트입니다. 참고 자료일 뿐 위 테스트 결과가 실제 제품들의 진단율을 나타낼 수는 없습니다.

보안 제품의 진단율 테스트에서 항상 거론되는 문제는 테스트 샘플에 대한 객관성인데, MRG나 Grees.gr같은 테스트의 경우 객관성이 보장받기가 다소 어렵습니다. 이유는 MRG같은 단체는 테스트 단체가 소규모이고 보안 업체의 협력을 받지 않기 때문에 자체적으로 테스트를 수집하는데, 아무리 각 세계에 걸쳐 회원들이 포진하고 있다하더라도 실제 수집되는 샘플은 편향적이 될 수 밖에 없기 때문입니다.

테스트의 객관성을 보장하기 위해 권위있는 인증체계를 갖춘 테스트들이 자주 사용하는 방법은 와일드리스트 샘플을 이용하는 것입니다. 특히나, Vb100은 와일드리스트 샘플만을 가지고 테스트를 시도하여 VB100 인증 여부를 결정합니다. VB100 내부적으로도 비 와일드 리스트 샘플을 이용한 진단율 테스트도 진행하지만, 이는 유료 사용자에게만 공개하고, VB100 인증은 오로지 와일드리스트 샘플 검출 및 오진율에 대한 테스트만을 가지고 부여합니다. AV-test나 AV-comapratives 같은 단체의 테스트는 와일드 리스트 샘플과 비와일드 리스트 샘플을 함께 이용합니다. 

그리고 누적 샘플을 이용할 경우 규모가 큰 업체나 유리한 게 사실입니다. 그래서 중요한게 사전 진단과 샘플 대응력인데 이는 MRG에서 따로 테스트하기 때문에 여기서는 언급하지 않겠습니다. 

그러나 MRG의 경우 이런 상식적인 부분과 테스트 결과가 다르기 때문에 재밌는 자료라 생각하는데, 이는 결국 테스트 샘플이 특정 업체가 다소 유리하도록 편향되어 수집되었다는 사실의 반증이라 생각합니다. 물론, 이는 MRG 자체적인 문제이지, 보안 업체가 관계되어 있다는 의미는 아닙니다.


VB100을 비롯해서 각종 테스트들도 샘플과 관련된 문제에서 자유롭지 못합니다. 따라서 샘플 취득 및 분석 시스템이 더 열악한 MGR의 테스트 경우 이런 문제에 더욱 취약하다 할 수 있습니다.  

 
(2) 주의점 - 진단율만 측정

---

이 테스트는 단순히 진단율만을 측정하고 있습니다. 따라서 앞서 리뷰한 A-squred 제품처럼 오진율이 상당히 높은 제품도 진단율에서 만큼은 높은 점수를 얻을 수 있습니다. 따라서 각 제품의 안정성 및 사용 편의성 여부 등은 고려하지 않은 테스트이기 때문에 높은 점수를 획득한 제품이 좋은 제품이라 말할 수 없습니다. 또한 시그니처 방식으로만 테스트하였기 행동기반으로 탐지되는 악성코드에 대한 정보는 포함되지 않고 있습니다. HIPS 등의 행동탐지 기능의 테스트는 현재 따로 진행하고 있습니다.


(3) 테스트 제품들의 설정 정보 부재

---

테스트에 사용된 제품들의 버전 정보는 공개되었는데 테스트시 사용된 환경 설정 정보는 제공되지 않았습니다. 테스트 절차를 보면 제품 설치시 업데이트 후에 바로 테스트를 진행하는 것으로 보이는데 설치 시에 제공되는 기본 설정으로 테스트를 진행하는 것으로 예상됩니다.

각 보안 제품의 설정에 따라 진단율도 달라질 수 있는데 기본 설정으로 실험을 진행한 것인지를 밝히지 않은 것은 테스트의 전문성이 떨어지는 것을 반영한다 볼 수 있습니다. 보통 진단율 테스트에서는 이런 정보는 기본으로 제공되어야 하는데 다소 아쉬운 부분입니다.



- 이상입니다.