AV-Comparatives 웹 공격 차단 종합 성능 테스트 - Whole Dynamic TEST 2011 (하반기)

웹을  통한 외부 위험 요소를 차단하는 능력을 종합적으로 테스트하는 Whole Dynamic TEST의 2011년도 하반기 테스트 결과가 나왔습니다.

▶ 관련글

- AV-comparatives : Whole Product Dynamic Test (2009)
- AV-Comparatives 웹 공격 차단 종합 성능 테스트 - Whole Dynamic TEST 2010
- AV-Comparatives 웹 공격 차단 종합 성능 테스트 - Whole Dynamic TEST 2011
  (상반기)

▶ 출처 : http://www.av-comparatives.org/ 

---

AV-Comparatives의 테스트 중 하나인 Whole Dynamic Test 결과가 발표되었습니다.

Whole Dynamic test는 현존하는 악성코드 감염 위협의 대다수를 차지하는 "인터넷으로 연결된 웹사이트를 통해 이루어지는 악성코드 감염을 차단하는 종합적인 성능을 측정"하는 테스트입니다. 
(※ Whole Dynamic test가 어떤 테스트인지는 관련글의 2009년를 참고 바랍니다.)


전통적인 의심진단을 포함한 시그니처 진단과 악성 사이트를 진단하는 URL Filtering, 유해물 차단에 주로 쓰이는 Contents Filtering, 피싱 사이트 차단을 위한 Anti-Fishing, 제로 데이 코드 또는 악성코드의 실행을 차단하는 Behavir Blocker 류를 포함한 HIPS 등 다양한 진단 기능으로 악성 요소를 얼마나 많이 차단하는지를 측정합니다.

해당 테스트 결과는 특정 기간에 이루어진 단일 항목이 아니라 2011년 8월부터 11월까지 총 4번의 개별 테스트들의 결과를 종합한 것입니다. 

1. 최종 결과

최종 결과 - 등급별 구분

'*' 표시는 오진(웹사이트 위험도 평가, 스크립트 및 다운로드 파일 오진 등) 및 사용자 처리 요구 등이 많아 등급이 떨어진 것을 의미합니다.

상반기와는 달리 에프시큐어(작년, 올해 상반기 1위)는 다소 수치가 떨어지고 시만텍이 1위를 다시 차지하였습니다. 시만텍(노턴)과 에프시큐어의 엎치락 뒤치락하는 결과가 흥미롭습니다. 최근 상승세인 비트디펜더는 2위를 유지하였으며, 카스퍼스키가 역시 그 뒤를 잇고 있습니다.

비트디펜더와 AVIRA 엔진을 포함한 총 5개의 엔진을 갖고 있다는 Qihoo도 한 단계 상승하여 최상위권에 위치하였습니다. AVIRA가 오진으로 인해 한 등급 아래로 떨어진 것을 볼 때 AVIRA 엔진의 DB 추가가 실시간으로 되지는 않는 것 같습니다. 물론 자체적인 오진 처리 능력이 뛰어날 수도 있습니다.

판다와 ESET은 한 단계 떨어지고 , AVG는 한 단계 상승하여 각각 중위권에 속하였습니다. 나름 선방한 이들 제품과 달리 최상위권에 위치하던 AVAST는 하위권이 되어 눈에 띄었습니다. 오진을 제외한 순수 진단율에서는 뒤쪽에서 3위이며, 사용자 처리 항목을 포함하면 웹루트를 제외하면 최하위권입니다. 버전 차이가 급격하게 나는 것이 아니기 때문에 갑작스런 하락은 샘플의 차이로 인한 것 같습니다. 역시 샘플수가 2천개가 안 되기 때문에 특정 샘플군을 진단 못할 경우 순위에 영향을 많이 미치는 것 같습니다.^[각주:1]

2. 세부 결과

2-1. 참여 제품 정보 및 테스트 환경

참여 제품의 정보는 아래와 같습니다. 거의 대부분 테스트가 이루어질 당시에 제공되는 최신 버전을 이용하였으나, 제작사에서 원하는 버전으로 테스트하였다고 합니다.

테스트가 이루어진 기간과 사용된 샘플(테스트에 사용된 URL)의 수는 아래와 같습니다.

테스트 기간	샘플 수
2011년 8월 4일~22일	191
2011년 9월 1일~23일	608
2011년 10월 3일~28일	503
2011년 11월 6일~25일	596
총 합	1898

상반기에 비해서 샘플 수는 줄어들었습니다.

테스트는 모든 제품에게 각각 개별적인 PC가 주어졌고, 가상화 시스템이 아닌 고유의 IP를 부여받은 "실제 시스템"에서 이루어졌습니다. 동일한 기간에 업데이트를 맞추고, 설치시 제공되는 "기본 설정"을 기준으로 진행되었습니다.

시그니처 진단, 웹 트래픽 검사(카스퍼스키)·웹브라우저 보호(노턴)같은 웹 방어 기능, URL Filtering, Anti-Fsihing, HIPS, Behavior Blocker, 클라우드 진단 기능 등 안티 바이러스 제품이 갖고 있는 모든 보호 기능이 사용되었습니다. 단, 테스트시 방화벽에서 악성코드가 실행되었으나, 악성코드가 시도한 아웃바운드 연결을 진단한 경우는 "실패"로 간주된 것 같습니다.


테스트는 "공격 차단 성공", "사용자 처리에 따라 다름", "차단 실패"로 나뉘었습니다. 

공격 차단 성공 (Block)	자동 처리를 통한 차단 성공 사용자 처리 요구 시, 설정된 권장 사항이나 기본 설정 항목을 통해 명확하게 공격을 차단할 수 있는 경우
사용자 처리에 따름 (User Dependent)	사용자 처리 요구시, 사용자의 선택에 따라 다름
공격 차단 실패 (Compromised)	자동 처리를 통한 차단 실패 사용자 처리 요구시, 위험 정보가 불명확하거나 설정된 권장 사항이 명확하게 공격 시도를 안전한 것으로 처리하는 경우

테스트는 특정 제로데이 코드나 악성코드의 차단을 측정하는 것이 아니라, 현재 사용자 PC를 공격할 수 있는 악성 URL에 직접 접속하여 최종 목표인 악성코드 실행이 차단 되었는가를 측정하게 됩니다.

따라서 1차로 웹방어 또는 시그니처 진단 기능에서 제로데이 코드나 기자 중간 단계의 공격을 차단하는 경우, 2차로 시그니처 진단과 행동 기반 진단 기능에서 제로데이 공격 또는 사용자에 의해 다운/실행된 악성코드가 시스템을 변조하기 전에 이를 차단한 경우 "공격 차단 성공"이 이루어집니다.

그리고 사용자 처리에 따라 차단/실패가 달라지는 경우를 따로 기록하고 있는데, 이는 최종 결과에 영향을 줍니다. 보호 비율(Protection RATE)을 측정할 때 사용자 처리에 따라 다른 경우는 성공/실패를 1:1로 나누어 50%만 공격 차단이 성공한 것으로 기준을 삼고 있기 때문입니다. 기본적으로 사용자는 특정 항목의 위험성을 잘 모르는 경우가 많기 때문에 사용자 처리에 따라 달라지는 경우 50%의 비율 감소는 적절한 것 같습니다.

2-2. 세부 결과

월 별 그래프 - 클릭해서 보세요.

아래는 종합 결과입니다.

(※ Cluster는 보호 비율에 따른 상대적인 순위 구분으로 최종 결과의 등급별 구분과 같습니다.)

중위권 중에서 가장 밑이었던 Qihoo가 치고 올라온 것이 보입니다. 반대로 어베스트는 말 그대로 추락을 한 모습입니다. 샘플 수가 적었던 것이 문제를 심화시켰던 것 같습니다.

점수 인플레로 모든 제품들이 90%를 넘겼기에 대부분의 공격을 차단한 것처럼 보이지만, 상위권 제품이 아닌 이상, 실 상황에서는 웹 공격에 취약할 수 있습니다.

아래는 오진 및 사용자 처로 인한 차감 점수 항목입니다. 평균은 약 12개의 오진입니다. 평균이 중요한 것이 평균 오진율보다 높은 오진을 보인 제품은 등급이 한 단계 하락됩니다.

상반기에 오진이 많아 한 등급이 강등되었던 시만텍은 다시 일반적인 수준으로 오진이 줄어들었습니다. 오진 항목을 다소 민감하게 본다면 AVG나 카스퍼스키가 상당히 뛰어나 보입니다. 그러나 반복해서 말하지만 판다나 비트디펜더같은 제품이 오진이 적게 나온다고 국내에서도 오진이 적은 것은 절대 아닙니다.

웹루트의 경우 소포스 엔진이 아닌 자체 엔진의 민감도에 다소 문제가 있는 것 같습니다. 소포스 엔진의 휴리스틱이 상시 활성화된 것도 아닐텐데^[각주:2] 오진이 상당히 많은 것이 이해가 잘 안갑니다.

 

---

최근 안랩이 수동 검사 테스트에 지원한 적이 있는데, 해당 테스트처럼 최근 들어 관심받고 중요하게 여겨지는 테스트에 참여해주었으면 하는 바램이 있습니다.


- 이상입니다.

1. 특정적인 특징을 가진 url에 접속하여 공격을 차단하는 것을 보는 테스트이기 때문에 필연적으로 샘플 수가 적습니다. [본문으로]
2. 소포스 엔진의 경우 휴리스틱 설정에 따라 민감도 차이가 상당합니다. [본문으로]