▶ 보안 제품 테스트 정보/:: AV-Comparatives

AV-Comparatives 5월 안티-바이러스 사전 방역 진단율 테스트 (2011)

물여우 2011. 5. 26. 18:00
반응형
AV-Comparatives에서 수동 검사를 통한 악성코드 사전 진단율 테스트 결과를 발표했습니다.




오스트리아에 위치한 민간 보안 연구 단체인 AV-Comparatives 에서 2011년 두 번째 메인 테스트 결과를
발표하였습니다. Av-Comparatives의 메인 테스트는 수동 검사 진단율 테스트와 사전 방역 진단율 테스트가 있으며, 전반기와 후반기 두 번에 걸쳐 진행됩니다.

이번 테스트는 상반기 마지막 테스트로 사전 방역 진단율 테스트입니다. 테스트에 참여한 제품에 대한 정보 및 오진율에 대한 것은 2011년 4월 자료를 참고 바랍니다. 또한 사전 방역 진단율 테스트에 대한 세부적인 정보는 관련글의 2009년 5월 자료를 참고 바랍니다. 

시그니처 진단을 통한 사전 방역 테스트이기에, 행동 기반 진단 기능과 클라우드 기술을 이용한 진단 기능은 결과에서 제외되었습니다. 즉, 순수한 시그니처를 이용한 진단으로 악성코드를 DB에 추가되기 전에 얼마나 진단할 수 있느냐를 측정하게 됩니다.

그리고 Avast, AVG, K7, McAfee, PC Tools, Symantec, Trend Micro, Webroot 등 많은 제품들이 사전 방역 테스트에서는 결과를 공개하지 않았습니다. 개인적으로 누적 샘플 진단율보다는 사전 진단율을 중요하게 보는데 상당히 아쉬운 부분입니다.



1. 테스트 최종 결과



※  '*' 가 붙은 제품은 상대적으로 많은 오진으로 인해 등급이 떨어진 것을 의미합니다.

이번 테스트에서는 G-DATA와 ESET의 진단율이 가장 높았으며, 그 뒤로는 AVIRA, 카스퍼스키 등이 좋은 결과를 받았습니다.

그러나 G-DATA와 ESET은 오진으로 인하여 순위가 하락되었습니다. 특히 ESET(20개의 오진)의 경우 오진 없는 사전 진단율의 뛰어남이 장점이었던 터라 더 눈에 띕니다. 물론, 일부 민감도를 조절하고 테스트에 임한 제품들을 생각해보면 오진이 그리 많은 것은 아니었습니다.

결과적으로 AVIRA와 카스퍼스키이 가장 높은 등급을 차지하였습니다.

비트디펜더와 비트디펜더 엔진을 이용하는 제품들(F-secure, TrustPort, Escan)은 무난한 진단율을 보여주고 있습니다. 판다는 여전히 오진으로 인하여 등급이 하락되고 있습니다. 중국산 제품인 Qihoo는 무난한 결과였지만 많은 수의 오진으로 인해 결국 최하 등급을 얻었습니다.


2. 테스트 세부 정보

2-1. 테스트 참여 제품 정보


 
 •  AVIRA AntiVir Premium 10.0  •  Kaspersky Anti-Virus 2011
 •  BitDefender Anti-Virus Pro 2011  •  Microsoft Security Essentials 2.0
 •  eScan Anti-Virus 11.0  •  Panda Antivirus Pro 2011
 •  ESET NOD32 Antivirus 4.2  •  Qihoo 360 Antivirus 1.1
 •  F-Secure Anti-Virus 2011  •  Sophos Anti-Virus 9.5
 •  G DATA AntiVirus 2011  •  Trustport Antivirus 2011


앞서 언급한 것처럼,  Avast, AVG, K7, McAfee, PC Tools, Symantec, Trend Micro, Webroot 등 많은 제품들이 사전 방역 테스트에서는 결과를 공개하지 않았습니다. Av-Comparatives에서 밝히기로는 진단율이 낮거나 많은 수의 오진이 존재하기 때문에 공개를 원하지 않았다고 합니다.

일부 제품의 경우 클라우드 진단과 행동 기반 진단에 기대는 경우가 많기 때문에, 단순 시그니처 테스트 결과를 공개하지 않는 것도 이해가 갑니다만, 개인적으로 많이 아쉽습니다.

테스트에 임하는 기본 환경 설정은 보안 제품의 모든 진단 기능의 감시 및 민감도를 최고 강도로 설정합니다. 단, 일부 제품은 기본 설정 또는 특별한 제한을 두었습니다.

 AVIRA, Kaspersky는 최상위 휴리스틱 및 고급 진단 기능을 모두 사용
F-secure와 Sophos는 기본 설정 (고급 휴리스틱 진단 사용 안함)

 Avira는 패커 진단을 테스트에서 제외
  (※ 이는 악성코드 진단 및 정상 
파일 오진에서도 동일하게 적용되었습니다. 따라서 실제 사용 환경
      에서는 테스트결과 보
다 진단율과 오진율이 더 높을 수 있습니다.)
F-Secure, Kaspersky, Panda, Sophos 등을 비롯한 클라우드 기술이 포함된 제품은 클라우드 진단값
  을 테스트 결과에 포함시키지 않았습니다.



2-2. 테스트 세부 결과 정보

(1) 악성코드 샘플


악성코드는 2011년 2월 23일부터 3월 3일까지 수집된 샘플을 이용하였습니다. 테스트 시점(2.22)을 기준으로 안티 바이러스 제품의 업데이트를 마친 후 샘플을 수동 검사하여 진단율을 측정합니다.

총 9177개의 샘플이 사용되었습니다. 작년말 기준(23,237개)으로 볼 때 무척 감소한 양입니다.


(2) 테스트 결과


아래는 진단율의 세부 결과입니다.


작년 마지막 테스트(11월)을 기준으로 보면 판다와 TrustPort, 비트디펜더, Sophos의 진단율이 떨어졌는데, 특히 Trustport와 소포스의 하락이 눈에 띕니다. Trustport의 진단율을 보면 이번에 공개가 안된 AVG의 진단율도 예상이 되는 것 같습니다. 다중 엔진이지만 G-data와의 차이점을 생각해보면, 의외의 결과라고 봅니다.  

ESET의 진단율 증가가 눈에 띄는데, 이번 테스트에서는 오진과 맞바꾼 결과이기에 다음 테스트의 건승을 기대해봐야겠습니다.

아래는 각 제품별 오진 수와 등급 기준표입니다.


오진 등급이 변화됨에 따라 등급표의 기준도 2단계에서 3단계로 변화되었습니다.

 




올해 테스트부터 여러 모로 변화가 있는데, 악성코드 샘플별 진단 결과 등 사전 방역 테스트의 세부 결과가 공개되지 않고 있습니다. 테스트 샘플도 많이 줄었고, 참여한 제품도 12개 밖에 안됩니다.

앞서 언급한 것처럼 일부 업체의 경우 순수 시그니처 외에 다른 진단 기능의 비중 증가와 오진 등의 문제로 참여를 안 하고 있습니다. 테스트 결과가 개인/기업에게 꽤나 큰 영향을 주다보니, 테스트 결과를 공개 하지 않는 것 같습니다.  

물론,  요즘처럼 다양한 계층별 진단 기능이 존재하는 시대에 순수 시그니처 하나만 이용하는 테스트는 여러 모로 문제가 있긴 합니다. 하지만 Real World 테스트를 따로 진행하고 있고, 다양한 진단 기능이 있는 만큼, 크에 걸맞는 다양한 방식의 테스트가 있어야 한다고 봅니다.

사용자들의 눈이 무섭기 때문일테지만, 특정 업체들이 너무 근시안적인 생각을 갖고 있는 것이 아닌가 합니다. 테스트 결과를 공개해야만 사용자들이 좀 더 객관적인 정보를 얻을 수 있다고 보는데, AV-Comparatives의 테스트 방식(유료로 테스트를 의뢰 받아 테스트를 진행하는 방법)에서는 어쩔 수 없이 나타나는 문제 같습니다.

여하튼 한 두가지 테스트 결과보다는 다양한 테스트 결과를 종합하고, 개인적인 체감을 추가할 때, 대략 제품의 성능을 파악할 수 있다고 봅니다. 한 두가지 테스트 결과에 일희일비하는 사용자들의 생각도 약간 변화가 필요할 듯 합니다.



- 이상입니다.

반응형