AV-Comparatives 웹 공격 차단 종합 성능 테스트 - Whole Dynamic TEST 2011 (상반기)

웹을  통한 외부 위험 요소를 차단하는 능력을 종합적으로 테스트하는 Whole Dynamic TEST의 2011년도 결과가 나왔습니다.

▶ 관련글

- AV-comparatives : Whole Product Dynamic Test (2009)
- AV-Comparatives 웹 공격 차단 종합 성능 테스트 - Whole Dynamic TEST 2010

▶ 출처 : http://www.av-comparatives.org/images/stories/test/dyn/wpdt2011_1_en.pdf

---

AV-Comparatives의 테스트 중 하나인 Whole Dynamic Test 결과가 발표되었습니다.

Whole Dynamic test는 현존하는 악성코드 감염 위협의 대다수를 차지하는 "인터넷으로 연결된 웹사이트를 통해 이루어지는 악성코드 감염을 차단하는 종합적인 성능을 측정"하는 테스트입니다. 
(※ Whole Dynamic test가 어떤 테스트인지는 관련글의 2009년를 참고 바랍니다.)


전통적인 의심진단을 포함한 시그니처 진단과 악성 사이트를 진단하는 URL Filtering, 유해물 차단에 주로 쓰이는 Contents Filtering, 피싱 사이트 차단을 위한 Anti-Fishing, 제로 데이 코드 또는 악성코드의 실행을 차단하는 Behavir Blocker 류를 포함한 HIPS 등 다양한 진단 기능으로 악성 요소를 얼마나 많이 차단하는지를 측정합니다.

해당 테스트 결과는 특정 기간에 이루어진 단일 항목이 아니라 2011년 3월부터 6월까지 총 4번의 개별 테스트들의 결과를 종합한 것입니다. 

1. 최종 결과

최종 결과 - 등급별 구분

'*' 표시는 오진(웹사이트 위험도 평가, 스크립트 코드 오진 등) 및 사용자 처리 요구 등이 많아 등급이 떨어진 것을 의미합니다.

올해에도 작년에 이어 에프시큐어가 1위를 차지한 것이 흥미롭습니다. 사용자 처리까지 포함하면 차단율 자체는 시만텍이 높았으나 오진 및 사용자 처리로 인한 점수 하락 때문에 F-secure에게 1위를 빼앗겼습니다. 또한, 그룹내의 위치는 랜덤하게 배정되었다고는 하지만 실질 점수로 인한 것으로 보면 됩니다. 

개인적으로 비트디펜더와 트렌드 마이크로의 높은 차단율이 눈에 띕니다. 비트디펜더는 버전이 올라갈수록 행동 기반 차단 능력이 매우 우수해지는 것 같습니다.

카스퍼스키가 등급을 그대로 유지한 가운데, 작년과 달리 ESET과 AVIRA는 위치가 바뀌었습니다. 아비라는 한등급 하락, ESET은 상승하였는데, AVIRA가 이런 류의 종합 테스트에서 성적이 좋지 않습니다. 이외에 어베스트와 판다 등도 등급이 상승하였습니다.

대체적으로 AVIRA를 제외한 시그니처 진단에서 우수함을 보이는 제품들의 등급이 상승하였습니다.

2. 세부 결과

2-1. 참여 제품 정보 및 테스트 환경

참여 제품의 정보는 아래와 같습니다. 거의 대부분 테스트가 이루어질 당시에 제공되는 최신 버전을 이용하였으나, 제작사에서 원하는 버전으로 테스트하였다고 합니다.

테스트가 이루어진 기간과 사용된 샘플(테스트에 사용된 URL)의 수는 아래와 같습니다.

이런 테스트들의 약점이 테스트 샘플의 종류가 적다는 것인데 한 시즌 당 600개 정도의 URL을 이용하고 있습니다. 다양한 취약점 공격과 이를 위한 변형 코드들이 있겠지만 꽤 많은 수의 샘플 url이 쓰이는 것을 확인할 수 있습니다. 개인적으로는 다소 중복되는 것이 있지 않을까 생각됩니다.


테스트는 모든 제품에게 각각 개별적인 PC가 주어졌고, 가상화 시스템이 아닌 고유의 IP를 부여받은 "실제 시스템"에서 이루어졌습니다. 동일한 기간에 업데이트를 맞추고, 설치시 제공되는 "기본 설정"을 기준으로 진행되었습니다.

시그니처 진단, 웹 트래픽 검사(카스퍼스키)·웹브라우저 보호(노턴)같은 웹 방어 기능, URL Filtering, Anti-Fsihing, HIPS, Behavior Blocker, 클라우드 진단 기능 등 안티 바이러스 제품이 갖고 있는 모든 보호 기능이 사용되었습니다. 단, 테스트시 방화벽에서 악성코드가 실행되었으나, 악성코드가 시도한 아웃바운드 연결을 진단한 경우는 "실패"로 간주된 것 같습니다.


테스트는 "공격 차단 성공", "사용자 처리에 따라 다름", "차단 실패"로 나뉘었습니다. 

공격 차단 성공 (Block)	자동 처리를 통한 차단 성공 사용자 처리 요구 시, 설정된 권장 사항이나 기본 설정 항목을 통해 명확하게 공격을 차단할 수 있는 경우
사용자 처리에 따름 (User Dependent)	사용자 처리 요구시, 사용자의 선택에 따라 다름
공격 차단 실패 (Compromised)	자동 처리를 통한 차단 실패 사용자 처리 요구시, 위험 정보가 불명확하거나 설정된 권장 사항이 명확하게 공격 시도를 안전한 것으로 처리하는 경우

테스트는 특정 제로데이 코드나 악성코드의 차단을 측정하는 것이 아니라, 현재 사용자 PC를 공격할 수 있는 악성 URL에 직접 접속하여 최종 목표인 악성코드 실행이 차단 되었는가를 측정하게 됩니다.

따라서 1차로 웹방어 또는 시그니처 진단 기능에서 제로데이 코드나 기자 중간 단계의 공격을 차단하는 경우, 2차로 시그니처 진단과 행동 기반 진단 기능에서 제로데이 공격 또는 사용자에 의해 다운/실행된 악성코드가 시스템을 변조하기 전에 이를 차단한 경우 "공격 차단 성공"이 이루어집니다.

그리고 사용자 처리에 따라 차단/실패가 달라지는 경우를 따로 기록하고 있는데, 이는 최종 결과에 영향을 줍니다. 보호 비율(Protection RATE)을 측정할 때 사용자 처리에 따라 다른 경우는 성공/실패를 1:1로 나누어 50%만 공격 차단이 성공한 것으로 기준을 삼고 있기 때문입니다. 기본적으로 사용자는 특정 항목의 위험성을 잘 모르는 경우가 많기 때문에 사용자 처리에 따라 달라지는 경우 50%의 비율 감소는 적절한 것 같습니다.

2-2. 세부 결과

클릭시 원본 크기 - 월 별 테스트 결과

아래는 위 그래프의 결과를 종합한 수치입니다.

(※ Cluster는 보호 비율에 따른 상대적인 순위 구분으로 최종 결과의 등급별 구분과 같습니다.)


등급이 아닌 실질 점수를 보니 비트디펜더의 상승율이 매우 큰 것을 알 수 있습니다. 앞서 언급한 것처럼
점수 결과를 살펴보면 F-secure는 차단 실패는 시만텍보다 많았지만 사용자 처리 항목이 적어 실질적인 차단 비율이 높았기 때문에 1위를 차지한 것을 알 수 있습니다. 이는 작년과 동일합니다.

아래는 오진 및 사용자 처로 인한 차감 점수 항목입니다. 평균은 약 27개의 오진입니다. 평균이 중요한 것이 평균 오진율보다 높은 오진을 보인 제품은 등급이 한 단계 하락됩니다.

에프시큐어가 비록 1등을 했지만 오진이 낮은 편은 아닙니다. 3등급을 차지한 AVG가 가장 오진이 적었고 비트디펜더와 ESET 등이 뒤를 잇고 있습니다. 카스퍼스키는 오진은 적지만 사용자처리가 많아 4위로 쳐졌습니다.

---

AV-Comparatives의 Whole Product Dynamic test는 AV-TEST의 분기별 인증과 항상 비교되곤 하는데 두 테스트의 차이점은 관련글의 2010 자료에서 살펴봤으니 참고 바랍니다.

개인적으로 AV-TEST의 최근 테스트(2분기)와 비교했을 때 비트디펜더, 카스퍼스키, 에프시큐어는 비슷했지만 AVG의 경우 다른 모습을 보여주는 것이 흥미로웠습니다.


- 이상입니다.