AV-comparatives : Whole Product Dynamic Test

AV-Comparatives의 올해 마지막 테스트인 Whole Product Dynamic Test의 결과가 공개되었습니다.

저는 보안 전문가가 아니며 해당 테스트에 대해 전문적이고 기술적인 지식을 가지고
이 글을 작성하는 것이 아니므로, 이 글의 일부 내용에는 오류가 있을 수 있음을 밝힙니다.



▶ 관련글

- 12월 PUA(애드/스파이웨어,허위 프로그램) 진단율 테스트 (2009)
- AV-Comparatives 11월 사전 방역 진단율 테스트 (2009)
- AV-Comparatives Malware Removal Test : 악성코드 치료 성능 테스트
- AV-Comparatives 8월 수동 검사 진단율 테스트 (2009)



출처 : AV-Comparatives "Whole Product Dynamic Test"

AV-Comparatives에서 또 새로운 테스트를 시도하였습니다. "Whole Product Dynamic Test"라 명명된 이번 테스트는 이전의 진단율 테스트나 치료 성능 테스트와는 색다른 성격을 갖고 있습니다.

테스트의 목표는 대다수 가정 사용자들(Home user)의 일상 사용 환경에서 보안 제품들의 "위협으로부터의 보호/차단" 성능을 비교하는 것입니다. 이전 테스트들이 주로 악성코드에 대한 진단율을 테스트한 반면 이번 테스트는 사전에 악성코드의 유입을 차단하거나 유입된 악성코드가 활성화되는 것을 차단하는 것을 측정합니다.

즉, 시그니처의 진단을 포함해서 카스퍼스키의 웹 트래픽 감시 같은 패킷 감시 기능, 위험 사이트 차단 기능, 클라우드 진단 기능, 행동 기반 탐지 기능(HIPS, Behavior Blocker)등 다양한 기능을 모두 사용하여 종합적인 위협 차단 성능을 기본 설정(설치 후 권장 설정된 상태)에서 테스트하였습니다.

악성코드의 유입과 실행이 주된 조건이며, 이를 위해 보안 위험이 존재하는 악성 또는 해킹된 웹사이트에 접속할 때 발생되는 상황에 대한 보안 제품의 차단 행동을 측정합니다. 

처음 시도하는 테스트이기 때문인지 몰라도 해당 테스트에 대한 AV-Comparatives의 설명이 장황한 편인데, 자세한 것은 나중에 살펴보고 먼저 테스트 결과부터 살펴보겠습니다.

최종 결과 - 등급별 구분

최종 결과 - 차단율별 순위

테스트 조건이 웹사이트를 통한 위협에 대처하는 것이 기본이다보니 노턴의 경우 웹브라우저 보호 및 IPS 기능의 성능이 유감없이 발휘된 것 같아 보입니다. 카스퍼스키도 최근에 추가된 스크립트 제너릭 진단값과 유입되어 실행되는 악성코드의 행동을 차단하는 HIPS 기능의 도움을 많이 본 것 같습니다.

기본적으로 스크립트와 아이프레임 등에 대한 진단 진단값을 많이 갖고 있는 안티버나 어베스트도 상위권에 랭크된 것을 확인할 수 있습니다.

MSE는 확실히 여러 테스트에서 좋은 성능을 보여주는 것 같습니다. 내년에 한글판이 정식으로 나온다고 하는데 무료 제품으로서 또 하나의 좋은 대안이 되지 않을까 합니다.

▶ 테스트 세부 정보

(1) 참여한 제품 정보

---

•  avast! Free 5.0	•  Kaspersky Internet Security 2010
•  AVG Internet Security 9.0	•  Kingsoft Internet Security 9+
•  AVIRA Premium Security Suite 9.0	•  McAfee Internet Security 2010
•  BitDefender Internet Security 2010	•  Microsoft Security Essentials 1.0
•  eScan Internet Security 10.0	•  Norman Security Suite 7.2
•  ESET Smart Security 4.0	•  Symantec Norton Internet Security 2010
•  F-Secure Internet Security 2010	•  Trustport PC Security 2010
•  G DATA Internet Security 2010

각 제품은 설치 후 권장 설정된 상태로 테스트에 사용되었는데 노턴의 경우 2010에 추가된 평판 기능을 탑재한 인사이트 기능은 이번 테스트에서는 제외되었습니다.


(2) 위험 사이트

---

악성 스크립트, 악성코드를 다운받아 실행시키는 취약점 코드, 악성코드의 직접 다운이 가능한 100개의 웹사이트를 선정했습니다.

악성 스크립트나 취약점 코드가 주입된 경우가 다수를 이루지만, 사회 공학정 방법으로 사용자를 기만하여 악성코드를 직접 다운시켜 실행하는 경우를 포함시켜 단순히 제로데이 공격에 대한 차단을 측정하는 테스트에서 일반 사용자들의 실제 웹서핑시 일어나는 위협에 대한 대처 기능을 측정하였다고 밝히고 있습니다. 

 
(3) 테스트 환경

---

테스트는 윈도우 XP SP3에서 시행되었는데, OS 뿐만아니라 일반 사용자들의 사용 환경을 꾸미기위해 Internet Explorer 7, Adobe Acrobat Reader 8, JAVA, Adobe Flash player 등 많은 사용자들을 보유한 프로그램을 추가로 설치하였다고 합니다. 다소 구 버전들의 프로그램인데 통계적으로 정확한 것은 몰라도 대다수의 사용자를 보유한 프로그램들을 선정하였다고 합니다.

중요한 것은 해당 프로그램들을 설치한 후 추가적으로 설치되는 보안 패치 및 빌드업 등은 제외되었다는 사실입니다. 따라서 위험 사이트에 방문시 보안상 매우 위험한 상태라고 할 수 있습니다.
이와 같은 사용 환경이 대다수 사용자들의 상태라는 것이 안타까울 뿐입니다.

위와 같은 시스템을 가상 환경이 아닌 실제 PC 16대에 설정하고 각각 고유 IP를 부여하여 테스트에 임하였습니다. 15개의 보안 제품을 가지고 테스트했는데 16대인 이유는 소포스의 경우 일반 사용자(home user)들을 상대로는 서비스되지 않기 때문에 테스트 결과에서 빠졌기 때문으로 보입니다.


(4) 테스트 방법

---

100개의 위험 사이트에 각각 접속하여 나타나는 위혐들을 보안 제품들이 차단하여 위험 요소가 완벽하게 차단될 때 통과하는 것으로 계산합니다.

①악성 스크립트나 취약점 코드의 진단 및 차단, ②취약점 코드를 통하거나 사용자가 직접 다운로드하여 실행되는 악성코드의 진단, ③실행되는 악성코드의 행동을 모두 차단 등의 경우처럼 위험 요소를 완벽하게 차단한 경우에만 통과됩니다. 특별히 언급되지는 않았지만 위험 사이트 진단 기능으로 인한 사이트 접속 차단도 사용되었지만 테스트에 사용된 위험 사이트가 차단되는 경우는 없는 듯 하고 악성코드 다운 서버 등에만 해당 기능이 적용되도록 위험 사이트를 설정한 것 같습니다.
 

중요한 것은 보안 제품들의 기본 설정 상태에서 진행되었으며, 자동 처리로 인한 차단값을 측정하되 제품 특성상 사용자 처리가 필요한 경우에는 권장 처리 항목을 선택하였습니다. 다소 복잡한데 최근의 보안 제품의 추세가 자동화 처리이기 때문에 이러한 조건이 붙은 것이라 생각됩니다.

또 복잡한 것 중 하나가 보안 제품의 중요 기능 중 하나인 방화벽 기능의 사용은 제외되었습니다. 여기서 방화벽은 HIPS 기능등이 제외된 순수 방화벽 기능으로 악성코드가 실행되어 있거나, 네트워크 연결을 시도하여 방화벽이 이를 탐지한 경우는 실패로 기록되었습니다. 방화벽이 없는 제품(어베스트, MSE)과의 공정성과 함께 악성 행위에 대한 차단과 달리 방화벽의 네트워크 연결 허용/차단의 사용자 처리는 사용자의 판단이 상대적으로 더 많이 필요하기 때문으로 보입니다.

기본 설정된 상태에서 진행되었기 때문에 보안 제품의 감시/차단 기능이 안정적으로, 쉽게 말해 진단 및 차단에 강화되어 있기보다는 오진이나 사용자 처리가 적은 상태입니다. 다시 한번 말하지만 대다수의 사용자들의 사용환경에서 이루어지는 테스트입니다. 

AV-comparatives에서도 밝히고 있지만 결과적으로 기본 설정된 권장 설정과 자동 처리를 통해서는 위험 요소를 100% 차단할 수 없었습니다. 일반적으로 최고 강도 감시 상태에서 차단이 불가능한 경우도 있겠지만, 사용자의 지식과 수고를 필요로하는 사용자 처리시에는 자동 처리보다 더 높은 차단율을 가질 수 있습니다.

참고로 문제없는 정상 웹사이트를 이용한 오진 테스트도 진행했지만 테스트 결과에 반영할 만큼의 조건이 되지 못하여, 이번 테스트에서는 위협 차단에 대한 측정만을 하였다고 합니다.

---

Av-comparatives의 다른 테스트(감시 진단 기능의 설정을 최고 강도로 설정)와 달리 일반 사용자들의 수준에서 보안 위협에 대한 보안 제품들의 성능 비교를 한 것은 매우 의미가 있다고 생각합니다. 보안 제품을 잘 활용할 수 있는 사용자는 드물고 자동 처리를 선호하는 사용자들은 많기 때문입니다.

보안 제품의 궁극적인 모습은 모든 기능이 자동화 처리로 구성되어 사용자의 지시과 판단 및 수고가 필요없는 상태라고 봅니다. 그러나 실질적으로 정확성을 높이는 등의 자동화 기능이 개선되고 있음에도 여전히 사용자의 판단이 보안 제품의 자동 처리보다 더 정확한게 사실입니다. 그래서 개인적으로는 자동 처리보다는 사용자 처리를 선호하며, 자동 처리만 존재하는 제품은 매우 불편하다 생각합니다.

문제는 대다수의 사용자들은 위험 요소에 대한 정확한 판단이 불가능하다는 것이라 생각됩니다. 뛰어난 휴리스틱을 지닌 민감한 안티바이러스 제품과 코모도나 아웃포스트와 같은 HIPS 포함 제품을 복합적으로 사용하면 높은 수준 보안 환경을 만들 수는 있겠지만, 이러한 제품을 제대로 다룰 수 있는 사용자가 많다고는 볼 수가 없습니다. 아마도 보안 제품으로 인한 스트레스와 수고가 악성코드로 인한 문제보다 더 크다고 여겨질지도 모릅니다. 결국은 보안 업체들은 이러한 사용자들의 수준을 반영하여 자동 처리 기능의 정확성을 높이는데 매진할 수 밖에 없다고 생각됩니다.

여하튼 앞으로 Av-comparatives에서 진단율 테스트와 기타 테스트들이 진행될 때 일반 환경과 최고 강도 설정 환경을 함께 측정하여 사용자가 보유한 제품의 성능을 현실적으로 비교 분석할 수 있게 되었으면 합니다.


마지막으로 "Whole Product Dynamic Test" 에 대한 좋은 번역문을 찾습니다. 직역을 하면 좀 이상해지는데, 테스트의 성격을 잘 반영하면서도 본래 뜻을 나타낼 수 있는 적절한 의역이 필요한 것 같습니다.

이상입니다.