MRG 악성코드 테스트 #23 : 수동 검사 진단율

MRG에서 올해 처음 수동 검사를 통한 악성코드 진단율 테스트 결과를 공개하였습니다.

▶ 관련글

- 4월(2009) MRG 수동 검사 진단율 테스트
- MRG 악성코드 테스트 #21 : 수동 검사 진단율
- MRG : Ongoing early life testing project - 추가 테스트 <수정 09/11/17>
- MRG : Ongoing early life testing project - 초기 진단 능력 비교 테스트
- MRG 악성코드 테스트 #20 : 실시간 감시 진단



ㅡMRG에서도 올해 첫 수동 검사 진단율 테스트를 시행하였습니다.

※ MRG 수동 검사에 대한 자세한 내용은 2009년 4월 수동 검사 링크를 참고 바랍니다.

1. 테스트 참여 제품 및 환경

이번 테스트에는 총 15개 제품을 이용하였습니다.

1. A-Squared Anti-Malware 4.5.0.29
2. avast Antivirus Professional  5.0.462
3. AVG Anti-Virus Professional 9.0.801
4. Avira AntiVir Premium 10.0.0.597
5. BitDefender Antivirus 13.0.20.347
6. COMODO Internet Security 4.0.138377.779
7. ESET Nod32 Antivirus 4.0.474.0
8. F-Secure Antivirus 9.22 build 15450
9. G DATA Antivirus 20.2.4.1
10. Kaspersky Anti-Virus 9.0.0.736
11. McAfee AntiIVrus Plus 14.0.306
12. Microsoft Security Essentials 1.0.1961.0
13. Norton AntiVirus 17.6.0.32
14. Online Armor++ 4.0.0.35
15. VIPRE Antivirus Premium 4.0.3248

악성코드 샘플은 총 259,694개가 사용되었습니다.

1. Trojan/Backdoor - 201,296
2. Worm - 25,811
3. Windows virus - 4,337
4. Rootkit/Exploit - 9,458
5. Adware/Spyware - 4,749
6. Ohter malware - 14,043

테스트 환경은 윈도우즈 XP SP3에서 진행되었으며, 인터넷이 연결된 상태에서 테스트 제품의 업데이트가 완료된 후 테스트를 시행하였습니다. 인터넷이 연결된 상태이기에 수동 검사에서 클라우드 기술을 사용하는 맥아피의 아르테미스 같은 기능으로 인한 진단이 포함됩니다.

2. 테스트 결과

1. A-Squared Anti-Malware                 : 99.8%
2. Online Armor++                             : 99.8%
3. G DATA Antivirus                           : 99.4%
4. Avira AntiVir Premium                      : 98.9%
5. avast Antivirus Professional             : 98.7%
6. McAfee AntiIVrus Plus                     : 98.6%
7. Norton AntiVirus                            : 98.4%
8. BitDefender Antivirus                      : 98.3%
9. F-Secure Antivirus                         : 98.1%
10. COMODO Internet Security               : 97.8% 
11. ESET Nod32 Antivirus                     : 97.6%
12. Kaspersky Anti-Virus                       : 97.5%
13. VIPRE Antivirus Premium                  : 97.3%
14. AVG Anti-Virus Professional             : 95.1%
15. Microsoft Security Essentials            : 94.8%

MRG의 샘플들은 이카루스 엔진을 채택한 제품들의 진단율이 무척 높게 나오는데 이번에도 마찬가지입니다.  

재밌는 점은 비트디펜더 엔진을 사용하는 에프시큐어가 항상 비트디펜더보다 진단율이 적게 나온다는 점입니다. 테스트시 보안 제품의 환경 설정이 어떻게 되어있냐를 알 수가 없어 확신할 수는 없지만, 비트디펜더의 휴리스틱을 제외한 일반 엔진만을 갖고 있는 에프시큐어의 자체 엔진과 비트디펜더의 휴리스틱 엔진의 진단율의 차가 약간은 영향을 미친 것 같습니다.

---

테스트에서 밝히기로 60%정도의 샘플은 3개월 이내에 수집된 것이고 나머지 40%는 6개월 전부터 수집된 것이라고 합니다. MRG가 네트워크에 기반한 소규모 단체인 것을 감안하면, 대단한 수치이지만 비교적 오래된 누적 샘플을 이용한 테스트가 갖고 있는 한계점은 타 테스트가 지닌 한계와 다를바가 없을 것 같습니다. 

소개는 안했지만 MRG에서는 올해 온라인 쇼핑/뱅킹에 대한 키로거를 비롯한 각종 악성코드에 차단 성능 테스트를 진행하였습니다. 꽤 흥미로운 자료이니 참고 바랍니다. 국내에서 사용하기 힘든 제품들 위주로 테스트가 진행되었고, 테스트에 참여한 제품들이 제공하는 테스트툴로 진행되었다는 점은 감안하고 보시기 바랍니다.

- 이상입니다.