11월 VirusInfo - Malware Detection Test

러시아의 보안 관련 커뮤니티인 VirusInfo에서 공개한 11월 악성코드 진단율 테스트 결과를 소개합니다.

이 단체는 국제적인 인증 테스트나 AV-test/Av-comparative 등과 같이 규모가 큰 단체는 아니고 
포럼 형식의 일반 사용자들에게 개방된 보안 커뮤니티를 갖고 있는 작은 단체입니다.
최근에는 ASAP라는 온라인 보안 커뮤니티를 조직한 것 같더군요.

VirusInfo에서 하는 악성코드 진단율 테스트는 일반적인 다른 테스트들과는 다릅니다.

1. 샘플 
테스트에 쓰이는 샘플을 자체적으로 수집하는 것이 아니라 'VirusTotal - http://www.virustotal.com/' 의 결과값을 이용해서 진단율을 통계를 내는 것입니다.

바이러스 토탈은 약 40여개의 보안 제품의 엔진으로 온라인 상에서 검사를 수행하는 온라인 스캐너 사이트입니다.
자신이 사용하고 있는 보안제품에서 검출은 안되거나 휴리스틱으로 진단된 파일을 업로드하여 타사의 제품이 진단하는지 여부를 파악하여 꼭 보안 업체에 파일을 보내어 위험여부를 판단하지 않아도, 사용자가 어느 정도 정보를 알 수 있는 좋은 웹사이트입니다. 사용은 당연히 무료입니다.
바이러스 토탈에 엔진이 추가된 업체들 중 몇몇은 바이러스 토탈에 업로드된 악성코드를 받아 DB화 한다고 합니다. 보안업체와 사이트 운영자와 일반 사용자들간에 서로 Win-Win 할 수 있는 구조라 생각됩니다.

그러나 바이러스 토탈의 결과를 무조건 믿으면 안됩니다. 40 여개의 보안 제품이 진단하지 못하는 악성코드도 존재할 수 있으며, 일부 보안 제품의 엔진은 최신버전이 아니기에 향상된 휴리스틱 기능 등으로 인한 진단이 안될 수도 있습니다.
또한 수동검사 기능만으로 파일을 분석하기 때문에 행동기반 탐지방식이나 침입방지기술 등으로 차단/진단되는 악성코드의 여부는 알수가 없어서 실제 보안제품은 진단하나 바토에서는 진단하지 못하는 경우가 많습니다.

바토에 올라오는 모든 샘플을 이용하는 것이 아니라 다음과 같은 기준으로 샘플을 구분합니다.

1) The sample should not be detected by the anti-virus software that protects the infected machine.
2) The sample should be found by the consultant him/herself in a real infection case.
3) The sample should not be taken from some other site or from some other collection of malware. 

감염된 머신에서 사용하고 있는 보안 제품에서 탐지되지 못하는 악성코드만을 사용해서 통계를 낸 것이기에 특정 제품은 검출력이 형편없게 나올 수도 있습니다. 즉, 이 테스트 자체가 공정한 상태에서 검출력을 테스트한 것이 아닙니다. 특히 테스트한 샘플의 수가 실제 단위일 가능성이 높습니다. 이 테스트를 일반적인 검출력 테스트로 생각하면 오산입니다.
예를 들어 사용자가 안티버를 사용중인데 안티버에서 진단못하는 샘플이 바토에 업로드 되었을 경우 타사의 보안 제품이 진단하는 결과를 통계 낸 것으로 보입니다.
(포럼에 테스트에 관한 게시판이 따로 있습니다만 러시아어로 구성된 곳이라 자세히 살펴보지는 않았습니다만 토탈결과는 일일이 조사하는 것  같더군요. 러시아어라 테스트에 관해서 제가 잘못알고 있는 부분이 있을 수도 있으니 참고하시기 바랍니다.)

2. 보여주는 정보
각 보안제품에 진단된 테스트 샘플은 진단 방법에 따라 다음과 같이 구분됩니다.

a) signature detection (detecting already known malware by the signature method) 
- 이미 DB화 되어 정식진단 된 경우입니다.
b) heuristic detection (detecting yet unknown malware by the method of emulation / code analysis / etc. Examples: "Heur.Trojan.Generic"; "a variant of: XXXXX")
- 시그니처 기반의 휴리스틱 진단된 경우입니다.
c) detection of suspicious file (detecting yet unknown malware by the method of informing the user about suspicious characteristics of a sample under analysis.
Examples: "Suspicious file"; "VIPRE: Suspicious")
- b와 유사한 경우인데 내부적인 차이가 있다기 보다는 진단명으로 구분한 듯 합니다.
(역시 테스트에 관한 게시판이 따로 존재하지만 러시아어로 구성되어 있어 세부적인 정보를 구하지 못했습니다.)
d) detection of suspicious cryptor / packer (detecting yet unknown malware by the method of informing the user about the unknown / rare / suspicious packer / cryptor or about the fact of multiple packing / crypting. Example: "HEUR/Crypted").
- 패킹 진단된 경우입니다.

위의 테스트 샘플에 관한 규칙을 볼 때 보안 제품의 총체적인 검출력을 테스트한다기 보다는 타사보다 얼마나 더 많은 신규 샘플을 DB화 했는지(정식진단), 또, 휴리스틱과 패킹 진단 등으로 진단되는 지를 보여주는 것 같습니다.

또한, 정식진단과 휴리스틱과 패킹 여부를 따로 나누어 보여줌으로 이 제품이 진단하는 악성코드의
대체적인 진단 형태를 볼 수 있다는 점에서 흥미로운 테스트라 생각하네요.
물론 이 테스트에서는 검출하는 것에 대한 정보만 보여줄 뿐 오진이나 기타 다른 정보는 제공하지 않기에 제품의 좋고 나쁨을 구분할 수 없습니다.

 

3. 테스트 결과

이 테스트는 11월 한 달 동안의 기록을 통계내어 그래프화 한 것 입니다.

오른쪽 맨 끝의 그래프는 수집된 모든 샘플을 가르킵니다.  
8월 자료와 비교하면 먼저 맥아피의 Artemis가 추가되었습니다.역시 아르테미스 기술 자체가 패커로 패킹된 특정 파일 등을 본사로 보내 DB와 휴리스틱 기법을 이용해서 대조하는 기술이라 의심진단이 많은 것을 볼 수 있습니다.
이번에 안티버는 8월 자료에 비하면 휴리스틱 진단과 패커 진단이 많이 줄어들었음을 볼 수 있습니다.
대신 AVG와 Esafe, nod 경우는 정식진단에 비해 휴리스틱 진단의 비중이 크게 늘었네요.
그리고 판다의 휴리스틱 진단과 Ikarus, MicroSoft의 정식진단은 여전합니다. (좋다는 의미는 아닙니다.)

SecureWeb-gate로 이름이 바뀐 게이트 단의 보안 제품은 안티버 엔진을 포함한 다중 진단 제품이라고 하는데 진단율이 대단하군요. 소프트웨어 형태의 제품이 아니라서 개인사용자는 사용할 수 없다는게 아쉽네요.

또 하나의 살펴볼 중요한 점! 모든 샘플을 진단하는 제품은 없다는 것....


아래 그림은 9월부터 10월 까지의 통계치를 보여주는 것입니다.

기간이 긴 만큼 진단하는 악성코드의 수가 조금 늘었습니다.  전체 샘플량의 비교해보면 오히려 11월 달이 더 많은 샘플을 가지고 테스트하였습니다.  보안 제품들의 전반적인 진단 형태는 11월과 별 차이가 없네요


출처 : http://virusinfo.info

         http://virusinfo.info/index.php?page=testseng