활성화 악성코드 치료 성능 테스트 - Anti-Malware Test Lab

안티멀웨어테스트랩에서 시스템에 설치되어 동작하는 악성코드의 제거 성능을 비교한 테스트 결과를 발표하였습니다.

▶ 관련글
 
AV-Comparatives Malware Removal Test : 악성코드 치료 성능 테스트



---

러시아의 보안 관련 연구 단체인 Anti-Malware Test Lab에서 이전 보안 제품 퍼포먼스 비교 테스트에 연달아, 이번에는 시스템에 감염된 악성코드를 제거하는 신규 테스트를 또 발표하였습니다. 안티멀웨어테스트랩은 여러가지 테스트를 진행하나 각각의 테스트 주기가 매우 긴 편인데 서로 다른 테스트를 연달아 발표하는 것은 근래들어 처음인 것 같습니다.

해당 테스트의 세부 결과는 아래 링크를 참고 바랍니다.

출처 : Testing of antiviruses for the treatment of active infections IV

1. 테스트 결과

이번 결과에서도 예전 활성화 악성코드 치료 성능 테스트와 유사한 결과가 나왔습니다. 특히, 러시아산 제품들의 선전이 눈에 띄는데, 해당 테스트에서는 성능이 항상 좋게 나오긴 합니다. 그러나 테스트에 사용된 악성코드에 따라 결과가 조금 달라질 뿐 해당 제품들은 타 테스트에서도 비교적 좋은 성능을 보여주고 있기 때문에 같은 국적의 제품들에게 어드밴티지를 크게 준 것 같지는 않습니다.

2. 테스트 참여 제품 및 환경

일부 제품들은 이전 퍼포먼스 테스트에서 사용된 것보다 오래된 구버전을 가지고 테스트되었습니다.

1. Avast! Professional Edition 4.8.1368
2. AVG Anti-Virus & Anti-Spyware 8.5.0.40
3. Avira AntiVir PE Premium 9.0.0.75
4. BitDefender Antivirus 2010 (13.0.18.345)
5. Comodo Antivirus 3.13.121240.574
6. Dr.Web Anti-Virus 5.00.10.11260
7. Eset NOD32 Antivirus 4.0.474.0
8. F-Secure Anti-Virus 2010 (10.00 build 246)
9. Kaspersky Anti-Virus 2010 (9.0.0.736 (a.b))
10. McAfee VirusScan 2010 (13.15.113)
11. Microsoft Security Essentials 1.0.1611.0
12. Outpost Antivirus Pro 2009 (6.7.1 2983.450.0714)
13. Panda Antivirus 2010 (9.01.00)
14. Sophos Antivirus 9.0.0
15. Norton AntiVirus 2010 (17.0.0.136)
16. Trend Micro Antivirus plus Antispyware 2010 (17.50.1366)
17. VBA32 Antivirus 3.12.12.0

테스트 환경은 XP SP3였고, 가상 OS가 아닌 호스트 PC에서 직접 실시되었습니다. 시스템 복구 이미지를 생성해서 테스트를 할 때마다 다시 복구하는 방법으로, 하나의 악성코드마다 17개의 제품을 각각 실험하여 총 272번의 테스트를 진행하였다고 합니다.

보안 제품은 악성코드가 감염된 상태에서 설치되는데, DB 및 프로그램 모듈 업데이트가 모두 진행됩니다. 또한, 설치시 설정된 기본 설정 상태로 테스트에 임하게 됩니다. 또한 악성코드 치료시 보안 제품이 재부팅을 비롯한 여러 처리 절차를 요구하는 경우, 이를 모두 허락하였습니다. 단, 루트킷 진단 기능의 경우는 기본 설정 상태에서 사용이 안될 경우 따로 검사를 진행하였습니다.

3. 테스트 악성코드 및 테스트 방법

테스트에 사용된 악성코드들은 아래와 같은 기준을 가지고 선정되었습니다.

1. 시스템에서 자신의 설치 및 실행 여부를 감추거나, 탐지/제거 하는 것을 방해하거나 기술
    을 가진 악성코드
2. 와일드리스트 샘플처럼 광범위하게 유포되는 악성코드
3. 테스트에 참여한 모든 보안 제품에게 악성코드의 구성 요소들이 진단되는 악성코드
4. 악성코드의 구성 요소들의 제거될 때 이를 스스로 다시 복구할 수 있는 악성코드
5. 악성코드가 보안 제품의 활동을 제한하거나 차단하지 않을 것
6. 시스템 자체의 구동을 막지 않을 것

개인적으로 4번째 기준이 특히 눈에 띄었습니다. 어떠한 이유로든 악성코드가 감염되었을 때 사용자들이 가장 애를 먹는 것이 진단되어 삭제된 파일들이 재생성되는 경우입니다. 이 경우 서로를 보완하는 다른 숙주 파일들이 남아있기 때문인데, 이런 경우 단일 보안 제품으로는 해당 업체가 특별히 신경써서 대응을 해주지 않는 이상 치료가 상당히 힘들기 때문에 타제품을 사용하거나, 사용자가 직접 제거해야하는 경우가 많습니다.


테스트에 사용된 악성코드는 총 16개로 아래와 같습니다

1.AdWare.Virtumonde (Vundo)
2.Rustock (NewRest)
3.Sinowal (Mebroot)
4.Email-Worm.Scano (Areses)
5.TDL (TDSS, Alureon, Tidserv)
6.TDL2 (TDSS, Alureon, Tidserv)
7.Srizbi
8.Rootkit.Podnuha (Boaxxe)
9.Rootkit.Pakes (synsenddrv)
10.Rootkit.Protector (Cutwail, Pandex, Pushdo)
11.Virus.Protector (Kobcka, Neprodoor)
12.Xorpix (Eterok)
13.Trojan-Spy.Zbot
14.Win32/Glaze
15.SubSys (Trojan.Okuks)
16.TDL3 v.3.17 (TDSS, Alureon, Tidserv)

테스트 방법은 시스템에 감염된 악성코드의 모든 요소와 시스템 변조 사항을 파악한 후 이후 설치된 보안 제품이 이를 제거/복구 하는 것을 파악하는 것입니다. 

악성코드의 모든 요소와 시스템 변조를 복구하면 성공, 그 외에는 실패로 기록되었습니다. 단 완벽하게 시스템 변조 사항이 복구가 되지 않더라도 시스템의 안정성와 순수성에 큰 영향을 주지 않으면 통과로 기록되었습니다.

위와 같은 방법으로 각 악성코드별로 성공/실패 기록을 백분율로 나타낸 것이 최종 결과의 기록입니다.

4. 각 제품별 세부 치료 정보

아래 그림을 참고 바랍니다.

5. 추가 정보

안티멀웨어테스트랩에서는 활성화 악성코드 치료 테스트를 지금까지 총 4번 진행하였습니다. 아래 그림은 각 제품별들의 테스트 결과를 그래프로 표현한 것입니다. 약간의 변경 사항은 있지만 크게 차이가 나지 않는 것으로 보면, 치료 기술의 개선은 쉽지 않은 것으로 보입니다.

---

카스퍼스키나 노턴의 경우 비교적 치료 성능이 안정적으로 유지되는 것 같습니다. 또, 무료 제품 중에서 어베스트는 꾸준히 치료 기능이 개선되는 것으로 나타났고, 이번에 처음 참여한 MSE도 비교적 뛰어난 성능을 보여주었습니다. MSE는 이제 곧 한글판이 정식 지원되는데, 국내 개인 시장에 얼마만큼의 파급력을 미칠지  기대가 됩니다.

카스퍼스키 경우 샘플 신고시 답변을 보아 알 수 있지만 상당수의 악성코드를 DB화할 때, 악성코드로 인해 생성되는 추가 파일 등을 진단에 추가 안 할 때가 많습니다. 그럼에도 불구하고 각종 치료 관련 테스트에서 좋은 성적을 보입니다. 이런 저런 면에서 참 대단한 제품인 것 같습니다.

개인적으로 선호하는 안티버나 AVG는 노드와 더불어 이번에도 좋지않은 결과를 보여주었습니다. 타 테스트의 결과도 신통찮은 이 제품들은 확실히 치료 기능에 개선이 많이 필요하다고 봅니다.



그리고 글을 쓰다가 문득 생각이 나서 이 기회에 한번 써봅니다. 상당히 오래전에 국내 보안 제품과 외국 보안 제품간의 성능 비교 논란이 거세게 일어났을 때, 언급되던 것 중 하나가 바로 악성코드에 대한 치료 기능이었습니다. 지금도 이와 비슷한 논란이 일면 언급되는 부분인데, 간단하게 정리하면 대다수의 외국 제품들과 달리 국내 제품들은 악성코드에 대한 치료 기능에 상당히 공을 많이 들여 치료에는 더 유리하다는 것이 해당 의견의 주요 내용입니다.

정책적인 문제라던가, 일부 업체의 특징 등을 고려해보면 위의 주장이 완전히 틀린 주장은 아니라고 생각합니다만, 현재 시점에서는 반드시 그렇다고 볼 수도 없습니다. 현재에는 국내 업체들도 진단 DB를 만드는 것만으로 상당한 에너지를 사용하고 있는데, 모든 악성코드에 치료와 관련된 시그니처가 포함되는 것은 불가능한 상황입니다. 따라서 일부 악성코드에만 치료 기술이 포함되고 있습니다. 사실 예전부터 그래왔습니다만 최그들어서는 trojan의 대량 증가 같은 악성코드 유포량의 절대치 증가와 변종의 생성 시기가 짧아지면서 더욱 심화된 것이라고 봅니다. 따라서 개인적으로는 치료와 관련된 부분에서 국내 제품들이 외국제품들과 비교하여 경쟁력이 그리 큰 편은 아니라고 생각합니다. 물론, 고객 지원을 위해서 DB 추가될 때 세부적인 치료까지 가능하도록 업데이트되는 경우도 많습니다. 개인 고객의 서비스 요청까지도 그런 경우가 많은데, 이러한 경우는 위의 상황과는 조금 다르기 때문에 고려하지 않았습니다.