[MRG] 유포 초기 진단 테스트 종합 - MRG Flash Tests 2010

다양한 악성코드들이 유포된 초기 시점에서 각종 보안 제품들의 진단율을 측정, 비교한 Flash Test의 종합 결과가 발표되었습니다.

▶ 관련글

- MRG : Ongoing early life testing project - 추가 테스트 <수정 09/11/17>
- MRG : Ongoing early life testing project - 초기 진단 능력 비교 테스트
- 4월 MRG 수동 검사 진단율 테스트 (2009)

---

민간 보안 제품 연구 단체인 MRG에서 2010년도에 실시한 Flash TEST 결과를 종합하여 발표하였습니다.
다양한 나라의 아마추어/전문가들이 모여 테스트/연구를 수행하는 MRG의 테스트 결과는 다른 유명 테스트들과는 다른 결과를 보일 때가 많으며, 오진 등을 따로 테스트하지는 않습니다. 따라서 진단율이 높은 제품이 무조건 좋은 것은 아닙니다.

MRG에 대한 것은 관련글 링크의 "2009년 4월 수동 검사 진단율 테스트"를 참고 바랍니다.

1. FLASH TEST 개요

이번에 살펴볼 것은 2010년 3분기 동안 시행된 각각의 Flash TEST의 종합 보고서입니다.

Flash Test는 이전에 MRG에서 실시한 Ongoing early life testing project에서 발전된 테스트입니다. 제로데이 공격을 통해 유포되거나, 수명이 짧은(며칠 또는 몇 시간 이내에 동일한 역활을 하는 새로운 변종이 출현) 악성코드를 샘플로 하며, 악성코드가 유포된 초기에 보안 제품에서 진단 또는 행동을 차단하는 지를 측정합니다. 유포 초기에 진단 여부를 측정함으로 보안 제품의 초기 대응 능력을 알 수 있는 테스트입니다.

샘플은 Worm과 Trojan 같은 류의 악성코드 뿐만 아니라 PUA까지 다양한 악성코드로 구성되어 있으며, 각 주기별로 나타나는 악성코드(동일한 행도을 하는 )의 변종을 유포 초기마다 수집하여 사용합니다.

또한, 시그니처 진단과 행동 기반 진단을 연속적으로 진행해서 보안 제품이 최종적으로 악성코드의 동작을 차단할 수 있는지를 살펴보게 됩니다.

테스트에 사용된 샘플 수는 적지만 다양한 종류의 샘플을 사용하기에, 진단 정책과 행동 기반 진단 기능의 포함 여부에 따라 성능이 차이가 날 수 밖에 없습니다. 따라서 대규모 보안 인력과 수집 체계를 갖춘 보안 업체의 제품이라 할지라도, 성능이 낮게 나올 수 있습니다.

2. 테스트 결과 및 세부 정보

(1) 최종 결과

---

실시간 감시 기능이 일반적인 파일 감시 형태가 아니라 행동 기반 진단 기능의 형태를 가진 Emisoft와 샌드박스류의 가상화 기능으로 동작하는 DefenseWall 제품이 모든 샘플을 진단 또는 차단하였습니다.

멀티 엔진의 클라우드 기반 기능인 Hitman Pro 제품과 HIPS 기능을 메인 기능으로 갖고 있는 Zemana 제품 또한 높은 점수를 받았습니다.

전통적인 안티 바이러스 업체 중에서는 노턴 제품이 80%대의 진단율로 체현을 세웠고 G-data 등이 그 뒤를 이었습니다. 판다와 어베스트 안티버, 카스퍼스키, 노드, AVG 등은 매우 저조한 진단율을 보였고, Pctools의 경우 스파이웨어 닥터 엔진이 빠져서인지 가장 낮은 성능을 보여주었습니다. 

결론적으로 다중엔진을 가지고있거나, 행동 기반 진단 기능으로 실행 파일(PE)의 실행과 동작을 차단할 수 있는 제품들이 높은 점수를 받은 것을 알 수 있습니다. 즉, Emisoft나 zemana 제품들이 높은 점수를 받은 것이 좋은 것만은 아니라는 뜻입니다.

보고서에서 밝히고 있듯이, 테스트에 쓰인 안티바이러스 제품군이 아닌 인터넷 시큐리티 또는 토탈 제품군 등 최상위 제품군으로 테스트하였다면 결과가 다소 변했으리라 생각합니다.


(2) 세부 결과

---

테스트에 참여한 제품은 아래와 같습니다.

1)  Emsisoft Anti-Malware 5.0

2)  AVG Antivirus 2011 (10.0)

3)  Avira Antivir Premium 10.0

4)  BitDefender Antivirus 2011

5)  Defense Wall  V3

6)  Emsisoft AntiMalware  V5

7)  F-Secure Antivirus 2011

8)  G DATA Antivirus 2011

9)  Hitman Pro 3.5

10)  Immunet Protect Plus 2.0

11)  Kaspersky Antivirus 2011

12)  Malwarebytes Anti-Malware 1.46

13)  McAfee Antivirus Plus 2011

14)  Microsoft Security Essentials 1.0

15)  Nod32 Antivirus 4.2

16)  Norton Antivirus 2011

17)  Panda Antivirus 2011 (16.0)

18)  PC Tools Antivirus 2011 (8.0)

19)  Prevx 3.0

20)  SuperAntispyware Professianal Edition 4.47

21)  Vipre Antivirus Premium 4.0

22)  Zemana AntiLogger 1.9

테스트는 각각의 악성코드가 수집된 시점에서 진행되었습니다. 

먼저 수집된 악성코드를, 테스트를 위해 사용된 URL에 업로드 하고, 보안 제품이 설치된 상태에서 다운받습니다. 이후 수동 검사를 진행하여 진단 여부를 살펴보고, 미진단된 샘플의 경우 실행시켜, 악성코드의 실행 또는 행동이 차단되는 지를 살펴봅니다. 

아래는 세부 결과입니다.  녹색은 차단 성공, 빨간색은 실패, 주황색은 테스트 미참여를 나타냅니다.

사용자들의 입장에서는 의외일지도 모르지만 Zeus나 koobface같은 유명(?) 악성코드들이 초기에 진단이 안되는 경우가 많다는 것을 알 수 있습니다. 물론 이런 유명 악성코드들은 업체들의 대응이 빨라 시간이 어느정도 지나면 대부분의 제품에서 진단이 됩니다.

---

사용된 제품의 세부 설정 정보와 행동 기반 진단 기능을 이용하여 악성코드를 진단할 때의 세부적인 항목 등을 밝혀주지 않아서, 개인적으로 실제 환경에서 사용시에도 위와 같은 결과가 나올지는 조금 의문입니다.

그러나 테스트 상에서 분명한 것은 시그니처 기반으로는 확실히 유포 초기의 악성코드에 취약할 수 밖에 없다는 점과, 사용자가 여력이 있다면 행동 기반 진단 기능이 포함된 제품을 사용하거나 HIPS 기능이 포함된 제품(방화벽 또는 안티 키로거 등)들을 추가적으로 사용하는 것이 좋다는 점입니다.


- 이상입니다.