▶ 보안 제품 테스트 정보/:: AV-Comparatives

AV-Comparatives Potentially Unwanted Applications Test - PUA 진단 테스트 (2010)

물여우 2010. 12. 29. 17:00
반응형
AV-Comparatives에서 잠재적으로 원치 않을 수 있는 프로그램(PUA)에 대한 진단율 테스트 결과를 발표하였습니다.






PUA(Potentially Unwanted Applications) 또는 PUP(Potentially Unwanted Programs)는 앞서 언급한 것처럼 사용자가 잠재적으로 원하지 않을 수 있는 프로그램을 지칭하는 말로써, 과거 바이러스와 구분되어졌던 "스파이웨어(Spyware)"에서 개념이 확장된 것들입니다. 그러나 각 나라의 법률과 보안 업체별로 PUA에 대한 개념과 진단 정책은 매우 다릅니다.

"잠재적 위험 요소"라고도 의역하는 경우가 있는데, 개념을 매우 확장하면 실제 사용자 시스템에 어떤 악성 행위를 하지 않아도 사용자가 원치 않은 상태에서 설치된 프로그램이라면 해당 항목의 요소로 분류될 수도 있지만, 개념을 좁히면 반드시 악성 행위가 존재해야만 분류될 수 있습니다.

또한 보안 제품 자체에서도 설치시 제공되는 기본 설정과 최고 감시 설정, 그리고 그 중간에 있는 설정들 사이에 PUA에 대한 진단이 무척 달라집니다. 특히, 최근에는 안티 바이러스/스파이웨어의 엔진 및 설정이 통합되는 추세 속에서 PUA 관련 설정은 따로 분리되고 있습니다. 이는 보안 업체가 서비스하고 있는 모든 지역에서 동일한 진단 정책을 고수하기가 어렵기 때문으로 보입니다.

즉, 쉽게 말해 각 지역의 법률에 따라, 사용하는 보안 업체에 따라, 설정에 따라 동일한 객체를 PUA로 진단할 수도 있고, 진단하지 못할 수가 있습니다. 이러한 이유로 최근 들어 PUA에 대한 중요성이 매우 높아졌음에도 어느 정도 권위있는 보안 연구 단체들조차 제대로된 테스트를 내어놓지 못하는 실정입니다.

어느 정도 규모가 있는 단체 중 유일하게 AV-Comparatives에서 작년에 이어 올해도 PUA 진단 테스트 결과를 발표하였습니다. 그러나 앞서 언급한 PUA라기 보다는 스파이웨어보다 조금 넓은 영역의 객체들을 이용한 테스트입니다.

예를 들어 허위 보안 프로그램을 위시한 가짜 프로그램, 악성 애드웨어, 키로거같은 스파이웨어 등 논란이 아주 없을 수는 없지만, 대부분의 지역과 보안 업체에서 진단될 수 있는 객체들로만 샘플이 구성되었습니다. 조금 과장해서 보안 제품의 안티 스파이웨어 성능 진단 테스트라 보셔도 무방합니다.

그럼에도 보안 업체들의 항의가 많은지 내년에는 별도의 PUA 테스트를 진행하지 않는다고 합니다. 따라서 기본적인 진단율 테스트에 비해서 공정성이 떨어질 수도 있음을 참고 바랍니다.



1. 테스트 최종 결과

PUA의 특성 때문에 AV-Comparatives에서도 이번 테스트 결과에 크게 의미를 두지 않는 것 같습니다.
(※ 본문 주석 글 중에서  "We suggest considering all products with same the award to be as good as each other.")

최종 결과 - 등급별 구분



최종 결과 판다와 시만텍, 안티버 등이 무척 좋은 결과를 보여주었습니다. 닥터 스파이웨어 엔진이 함께하고 있는 PCtools와 다중엔진 제품인 Trustport와 G-data 등도 좋은 결과를 보여주고 있습니다.

카스퍼스키와 어베스트, MS 등은 비교적 낮은 결과를 보여주고 있습니다. 어베스트의 경우 5버전들어 PUA관련 설정과 진단이 추가되었는데 다소 아쉬운 진단율입니다.

AVG와 소포스는 해당 테스트의 참여를 거부하였다고 합니다.


2. 테스트 세부 결과


(1) 참여 제품 및 테스트 환경


AVAST Free 5.0

KingSoft Antivirus 2011

AVG Anti-virus 2011

McAfee VirusScan Plus 2011

AVIRA Antivir Premium 10.0

Microsoft Security Essentials 1.0

Bitdefender Antivirus 2011

Norman Antivirus & Anti-Spyware 8.0

Escan Antivirus 11.0

Panda Antivirus Pro 2011

ESET NOD32b Antivirus 4.2

PCtools Spyware Doctor with AV 8.0

F-secure Anti-virus 2011

Sophos Anti-virus 9.5

G DATA Antivirus 2011

Symantec Norton Antivirus 2011

K7 TotalSecurity 10

Trend Micro Titanium Antivirus 2011

Kaspersky Anti-virus 2011

TrustPort Antivirus 2011



테스트한 샘플은 총 82036개입니다. 샘플 종류는 앞서 서두에 언급한 PUA 샘플들이며 7월부터 11월 사이에 수집된 샘플들입니다.

모든 제품은 최고 감시 강도 설정 상태에서 테스트에 임하였습니다. AV-Comparatives에서는 일부 샘플의 경우 PUA가 아닌 일반 악성코드로 진단되는 경우도 있었으며, 특정 제품에서 지역적인 특색 등으로 진단을 안하는 경우가 있었다 밝히고 있습니다.


(2) 테스트 세부 결과



최종 결과 - 진단율순위


판다의 경우 거의 대부분의 샘플을 진단하였습니다. 반대로 90%를 간신히 넘은 노만이나 킹소프트의 경우(오진이 낮은 제품도 아닌데) 진단율이 너무 낮아 보입니다. 물론, AV-Comparatives에서 밝히고 있듯이 진단율과 순위가 그리 중요한 것은 아닙니다.





테스트 하는 대상이 복잡하다보니 테스트 자체는 간단하게 마무리 되는 것 같습니다.

일반 악성코드들을 강도, 살인, 강간 등의 중범죄로 비유한다면, PUA는 금융 범죄나 사기 정도에 해당하는 항목으로 볼 수 있을 것 같습니다. 지리한 법률 싸움을 해야할 수도 있고, 허위 사실을 증명하기도 어려운 것이 PUA라 생각합니다.

인명(PC나 시스템)이 살상되는 것은 아니지만, 충분히 사용자에게 피해를 줄 수 있는 항목이기에 보안 제품이 반드시 진단/치료해주어야 하는 것이 당연한 사실입니다. 그러나 현실적으로 많은 어려움이 있는 것 같습니다. 

개인적으로 국내외에서 문제가되는 악성 허위 제품들을 위주로 따로 테스트해보는 것이 어떨까하는 생각도 합니다만, 역시 국내의 많은 허위 제품들이 그렇듯이 법률 상에서 줄타기를 하며, 정상과 허위 제품 사이를 왔다갔다 하는 제품들을 얼마나 잘 구별할 수 있을지 의문이긴 합니다.


- 이상입니다.

반응형