AV-Comparatives 악성코드 치료 성능 테스트 - Removal TEST (2011)

활성화된 악성코드에 대한 치료(제거) 성능 테스트 결과가 발표되었습니다.

▶ 관련글

- AV-Comparatives Malware Removal Test : 악성코드 치료 성능 테스트 (2009)
- 활성화 악성코드 치료 성능 테스트 - Anti-Malware Test Lab (2010)

▶ 출처 : http://www.av-comparatives.org/en/comparativesreviews/removal-tests

---

오스트리아의 보안 관련 연구 단체인 AV-Comparatives에서 활성화 악성코드에 대한 치료 성능 테스트 결과를 발표하였습니다.

Removal-Tests는 시스템을 감염시킨 악성코드를 안티 바이러스 제품이 얼마나 '확실'하고 '간단'하게 제거할 수 있느냐를 테스트합니다. 따라서 DB 대응에 따른 사후 처리 성능을 살펴봅니다. 1차적으로 엔진 자체의 치료 성능이 중요하며, 2차적으로 세부적인 치료 패턴을 얼마나 많이 갖고 있느냐가 중요합니다.

치료 기능은 현실적으로 모든 악성코드를 사전 차단할 수 없기 때문에, 사후 대응 차원에서 매우 중요한 부분이라 할 수 있으며, 사전 진단율 다음으로 중요한 성능 지표라 할 수 있습니다.

1. 테스트 최종 결과

최종 결과 - 등급별 자료

먼저 비트디펜더가 최고 점수(90)점을 획득해서 1등을 차지했고 그 뒤를 PCtools가 차지하였습니다. 카스퍼스키와 시만텍은 역시 안정적인 성능으로 최고 등급을 성취했습니다.

예상외로 AVIRA가 비교적 높은 성적을 보였으며, 웹루트, 트렌드 마이크로, MSE 등이 뒤따랐습니다.

최근에 발표된 AV-TEST와 달리 F-secure 등은 좋은 성적을 보여주지 못했으며, AVIRA 와 거의 비슷한 성능을 보여주었던 AVG나 AVAST 등은 최하위를 구성하고 있습니다. 이와 반대로 ESET나 판다는 별 차이가 없는 것이 흥미롭습니다.

최종 결과 - 세부 점수

흥미롭게도 8번째 샘플은 모든 안타비아러스들이 제대로 치료를 하지 못했습니다. 가장 높은 점수를 받은 비트디펜더는 이 한 개 샘플을 제외한 나머지 샘플을 모두 성공적으로 제거하였습니다. 카스퍼스키나 시만텍의 경우 두 개의 샘플을 부분적으로 제거했을 뿐 다른 모든 샘플은 모두 제거하여 높은 점수를 받았습니다.

PCtool의 약진은 기본 엔진인 스파이웨어 닥터의 힘이 큰 것으로 보이며, AVIRA의 선전은 10버전부터 생긴 치료 과정의 효과가 아닐까 생각해봅니다.

2. 세부 결과

2-1. 참여 제품 및 시스템 정보

참여한 제품의 정보는 아래와 같습니다.

avast! Free Antivirus 6.0	McAfee AntiVirus Plus 2012
AVG Anti-Virus 2012	Microsoft Security Essentials 2.1
AVIRA Free Antivirus 2012	Panda Cloud Antivirus Free 1.5.1
Bitdefender Antivirus Plus 2012	PC Tools Spyware Doctor with Antivirus 2012
ESET NOD32 Antivirus 5	Qihoo 360 Antivirus 2.0
F-Secure Anti-Virus 2012	Sophos Anti-virus 9.7
G DATA AntiVirus 2012	Symantec Norton AntiVirus 2012
K7 Antivirus Plus 11.1	Trend Micro Titanium Antivirus Plus 2012
Kaspersky Anti-Virus 2012	Webroot SecureAnywhere Antivirus 2012

테스트 환경은 XP SP3에서 진행되었습니다.

2-2. 테스트 방법 및 세부 정보

(1) 테스트 일반 과정

---

테스트 과정은 아래와 같습니다.

1. 악성코드 분석(악성코드 감염 분석)
2. 악성코드 감염 후 재부팅 -> 악성코드의 완벽한 활성화
3. 안티 바이러스 설치 -> 악성코드로 인해 설치 불가시 안전 모드나 PE 부팅으로 설치
4. 수동 검사로 검사 후 치료
5. 남겨진 악성코드 요소들 검사

(2) 테스트용 샘플

---

테스트에 쓰인 샘플은 모두 10개로 아래와 같은 특징들을 갖고 있습니다.

1. 모든 샘플은 악성코드를 진단할 수 있어야함 -> 이를 위해 최소 반 년 이상된 샘플 사용
2. 확산 정도의 차이는 있지만 모두 와일드 리스트 샘플을 사용
3. 일반적인 악성코드의 행동을 보여야하며, 시스템 파괴성 행동을 보이면 안 됨
   -> 시스템 파일 교체가 필요한 경우 등이 제외됨

샘플 자체는 Trojan이나 웜 등으로 구성되어 있으며, 드롭퍼 형식으로 다른 악성코드를 다운로드 또는 생성시킵니다. 따라서 다운로드된 또는 생성된 모든 악성코드 요소를 제거할 수 있어야 완벽하게 처리된 것으로 간주됩니다.


(3) 평가 방법

---

테스트 평가에는 2개 항목이 있습니다. 하나는 악성코드 제거 수준, 두 번째는 제거의 편의성입니다. 이 두 개 항목을 각각 점수내어 결산합니다.

▶ 악성코드 제거 수준
 1. A 등급 : 악성코드의 완전한 제거 또는 무시할만한(위험성 없는) 요소만 남김
 2. B 등급 : 악성코드의 부분적 제거 -> 실행 가능한 일부 파일과 레지스트리 변경점이 남음
 3. C 등급 : 악성코드의 부분적 제거 -> 잠재적 또는 실제 위험한 요소가 남음
 4. D 등급 : 원본 드롭퍼만 삭제되고 나머지 악성 요소가 남겨진 경우 또는 모든 요소 제거 실패

▶ 편의성
 1. A 등급 : 일반 상태(정상 부팅 및 즉시 치료 가능)에서 치료 가능
 2. B 등급 : 안전 모드 및 다른 도구나 사용자의 수동 치료가 필요한 경우
 3. C 등급 : 응급용 부팅 시디를 통한 치료가 필요
 4. D 등급 : 외부 지원 필요 또는 제거 실패

자세한 정보는 없지만 일반 상태의 치료는 부팅 치료나 고급 치료 기능 등이 포함된 것 같습니다.


(4) 점수 및 등급 산정 기준

---

첫번째 등급이 악성코드 제거 수준, 두 번째가 편의성입니다. 악성코드 제거 수준이 높을 수록 점수가 높습니다. 위 점수를 각 샘플별로 산출한 후 평균내어 등급을 구분합니다.

---

원래 2년 간격으로 테스트하려는 것인지 작년에는 테스트하지 않았는데 올해는 테스트 결과를 발표했습니다.AV-TEST보다 샘플 수가 적어서 그런지 테스트 결과가 다소 다르게 나와 흥미로웠습니다.

개인적으로 안티 바이러스의 첫 번째 기준은 진단율, 그것도 사전 진단율이고, 그 다음으로 중요한 것이 바로 이 치료 성능의 수준이라고 생각합니다. 오진 등의 문제나 사용 편의성 퍼포먼스 등도 매우 중요하지만 안티 바이러스의 아주 기본적인 부분은 악성코드의 진단과 치료이기 때문입니다. 

카스퍼스키나 시만텍같은 제품들이 많이 선택되는 이유는 전체적으로 성능이 좋지만 역시 이런 기본적인 부분에서도 강력하기 때문이 아닐까 생각해 봅니다.


- 이상입니다.