AV-Comparatives 악성코드 치료 성능 테스트 - Malware Removal TEST (2012)

▶ 관련글

- AV-Comparatives Malware Removal Test : 악성코드 치료 성능 테스트 (2009)
- 활성화 악성코드 치료 성능 테스트 - Anti-Malware Test Lab (2010)
- AV-Comparatives 악성코드 치료 성능 테스트 - Removal TEST (2011)

▶ 출처 : http://www.av-comparatives.org

---

오스트리아의 보안 관련 연구 단체인 AV-Comparatives에서 활성화 악성코드에 대한 치료 성능 테스트 결과를 발표하였습니다.

Removal-Tests는 시스템을 감염시킨 악성코드를 안티 바이러스 제품이 얼마나 '확실'하고 '간단'하게 제거할 수 있느냐를 테스트합니다. 따라서 DB 대응에 따른 사후 처리 성능을 살펴봅니다. 1차적으로 엔진 자체의 치료 성능이 중요하며, 2차적으로 세부적인 치료 패턴을 얼마나 많이 갖고 있느냐가 중요합니다.

치료 기능은 현실적으로 모든 악성코드를 사전 차단할 수 없기 때문에, 사후 대응 차원에서 매우 중요한 부분이라 할 수 있으며, 사전 진단율 다음으로 중요한 성능 지표라 할 수 있습니다.

1. 테스트 최종 결과

최종 결과 - 등급별 자료

먼저 비트디펜더와 카스퍼스키가 최고 점수(94)점을 획득해서 1등을 차지했고 그 뒤를 Panda가 차지하였습니다. 작년 테스트에서 썩 좋지 않은 결과를 받았던 판다는 성능 개선에 성공한 것으로 보입니다. 

상위 등급에서는 BullGuard와 PCtools가 높은 점수를 받았고, ESET, F-secure, Fortinet, AVIRA, G-DATA 등이 상위 등급을 받았습니다.

하위 등급에는 AVG, AVAST 단 2개 제품만 포함되었습니다. 이 두 제품은 이전 테스트에서도 좋지 못한 점수를 받았기에 치료 성능에 대한 개선이 시급해 보입니다. AVIRA와 함께 무료 제품으로 시장에서 큰 인기를 누리고 있는 제품들이기에 결과가 상당히 아쉽습니다.

국내 제품 중 유일하게 AV-Compratives 테스트에 참여 중인 안랩은 테스트에 참여하지 않았습니다.^[각주:1] 다양한 테스트 결과가 궁금한 사용자 입장에서는 참 아쉬운 모습입니다. 추가적으로 MSE도 참여를 하지 않았습니다.

최종 결과 - 세부 점수

10번, 11번 샘플의 치료율이 매우 떨어집니다. 특히, 10번(Ransom)의 경우 PCtools 딱 한 제품만 치료가 가능했습니다.

최고 점수를 받은 카스퍼스키와 비트디펜더가 좋은 성능을 보여주었으나 모든 샘플을 진단한 것은 아닙니다. 비교적 널리 그리고 많이 유포된 악성코드임에도 불구하고 완벽하게 치료한 제품이 없다는 점이 매우 아쉽습니다. 해당 테스트의 경우 안티바이러스 제품을 통한 단순 치료 외에도 응급용 부팅 도구를 통한 치료 등 다양한 치료 방법이 쓰이고 있습니다. 결국 치료가 불가능했던 샘플은 안티바이러스가 아닌 사용자의 수동 복구나 시스템의 초기화 외에는 방법이 없다는 의미입니다. 

2. 세부 결과

2-1. 참여 제품 및 시스템 정보

참여한 제품의 정보는 아래와 같습니다.

avast! Free Antivirus 7.0	Fotinet FortiClient Lite 4.3
AVG Anti-Virus 2013	G DATA AntiVirus 2013
AVIRA Antivirus Premium 2013	GFI ViPRE Antivirus 2013
Bitdefender Anti-virus Plus 2013	Kaspersky Anti-Virus 2013
BullGuard Antivirus 2013	Panda Cloud Antivirus Free 2.0.1
ESET NOD32 Antivirus 5	PC Tools Spyware Doctor with AV 9.0
F-Secure Anti-Virus 2012

테스트 환경은 윈도우7 Professional SP1 64비트에서 진행되었습니다.

2-2. 테스트 방법 및 세부 정보

(1) 테스트 일반 과정

---

테스트 과정은 아래와 같습니다.

1. 악성코드 분석(악성코드 감염 분석)
2. 악성코드 감염 후 재부팅 -> 악성코드의 완벽한 활성화
3. 안티 바이러스 설치 -> 악성코드로 인해 설치 불가시 안전 모드나 PE 부팅으로 설치
4. 수동 검사로 검사 후 치료
5. 남겨진 악성코드 요소들 검사

(2) 테스트용 샘플

---

테스트에 쓰인 샘플은 모두 14개로 아래와 같은 특징들을 갖고 있습니다.

1. 모든 샘플은 악성코드를 진단할 수 있어야함
2. 확산 정도의 차이는 있지만 모두 와일드 리스트 샘플을 사용
3. 일반적인 악성코드의 행동을 보여야하며, 시스템 파괴성 행동을 보이면 안 됨
   -> 시스템 파일 교체가 필요한 경우 등이 제외됨

샘플은 Trojan이나 웜, 백도어 등으로 구성되어 있으며, ransom(ransomware^[각주:2]) 또는 MBR 감염 악성코드 등 다양한 형태의 악성코드로 샘플이 구성되어 있습니다. 

14개 중 3개 샘플은 이전 테스트(XP 기반 테스트)에서 사용된 샘플이 사용되었습니다. 이는 윈도우7 64비트 환경과 기존 32비트 기반 XP에서의 치료율 차이를 보기 위함인 것 같습니다.

참고로 위의 악성코드들은 드롭퍼 방식으로 다른 악성코드를 다운받거나 자체적으로 생성 시킵니다. 따라서 다운로드되거나 새롭게 생성된 모든 악성코드 요소를 제거할 수 있어야 완벽하게 처리된 것으로 간주됩니다.


(3) 평가 방법

---

테스트 평가에는 2개 항목이 있습니다. 하나는 악성코드 제거 수준, 두 번째는 제거의 편의성입니다. 이 두 개 항목을 각각 점수내어 결산합니다.

▶ 악성코드 제거 수준
 1. A 등급 : 악성코드의 완전한 제거 또는 무시할만한(위험성 없는) 요소만 남김
 2. B 등급 : 악성코드의 부분적 제거 -> 실행 가능한 일부 파일과 MBR, 레지스트리 변경점이 남음
 3. C 등급 : 악성코드의 부분적 제거 -> 잠재적 또는 실제 위험한 요소가 남음
 4. D 등급 : 원본 드롭퍼만 삭제되고 나머지 악성 요소가 남겨진 경우 또는 모든 요소 제거 실패

▶ 편의성
 1. A 등급 : 일반 상태(정상 부팅 및 즉시 치료 가능)에서 치료 가능
 2. B 등급 : 안전 모드 및 다른 도구나 사용자의 수동 치료가 필요한 경우
 3. C 등급 : 응급용 부팅 시디를 통한 치료가 필요
 4. D 등급 : 외부 지원 필요 또는 제거 실패

자세한 정보는 없지만 일반 상태의 치료는 부팅 치료나 고급 치료 기능 등이 포함된 것 같습니다.


(4) 점수 및 등급 산정 기준

---

왼쪽 등급이 악성코드 제거 수준, 오른쪽 등급이 편의성입니다. 악성코드 제거 수준이 높을 수록 점수가 높습니다. 위 점수를 각 샘플별로 산출한 후 평균내어 등급을 구분합니다.

---

최근 들어 악성코드의 사전진단이 어려워 짐에 따라 치료 기능의 중요성이 더욱 켜졌다고 봅니다. 하지만 안티 바이러스 자체를 비활성화하거나 일부 기능을 제한하는 악성코드가  증가하고 있기 때문에 보안 업체의 어려움은 더욱 커지지 않았나 싶습니다.



- 이상입니다.

1. 영문 버전 제품만 테스트에 참여했다는 문구가 있긴 합니다. [본문으로]
2. 사용자 PC의 중요 데이터나 특정 파일을 암호화하거나 부팅을 불가능하게 하고 이에 대한 해제를 위해 금품 등을 요구하는 악성코드 [본문으로]