반응형
▶ AV-Comparatives 2012년 테스트 모음
- AV-Comparatives 웹 공격 차단 종합 성능 테스트 - Dynamic Real-World TEST 2012
- AV-Comparatives 3월 안티-바이러스 수동 검사 진단율 테스트 (2012)
▶ 관련 글
- 2012/01/12 - AV-comparatives : Summary Report 2011 (종합 보고서)
- AV-Comparatives 2월 수동 검사 진단율 테스트 (2009)
- AV-Comparatives 웹 공격 차단 종합 성능 테스트 - Dynamic Real-World TEST 2012
- AV-Comparatives 3월 안티-바이러스 수동 검사 진단율 테스트 (2012)
▶ 관련 글
- 2012/01/12 - AV-comparatives : Summary Report 2011 (종합 보고서)
- AV-Comparatives 2월 수동 검사 진단율 테스트 (2009)
오스트리아에 위치한 민간 보안 연구 단체인 AV-Comparatives 에서 2012년 네 번째 메인 테스트 결과를 발표하였습니다. Av-Comparatives의 메인 테스트는 실환경 테스트와 수동 검사 진단율 테스트 및 사전 방역 진단율 테스트가 있습니다. 실환경 테스트는 매달 진행되고, 수동 검사 및 사전 방역 테스트는 전반기와 후반기 두 번에 걸쳐 진행됩니다.1
이번 테스트는 하반기 메인 테스트 중 수동 검사를 통한 진단율 테스트입니다. 수동 검사 진단율 테스트에 대한 세부적인 정보는 관련글의 2009년 2월 자료를 참고 바랍니다.
하반기 수동 검사 테스트의 결과와 별도로 결과를 공개한 Zeobit와 Kinsoft 제품들도 여기서 함께 다루겠습니다.
1. 테스트 최종 결과
최종 결과 - 등급별 구분
※ '*' 가 붙은 제품은 상대적으로 많은 오진으로 인해 등급이 떨어진 것을 의미합니다.
최상위(ADVANCED+) 등급에는 'AVIRA, TrendMicro, F-Secure, Kaspersky, Bitdefener, Bullguard, Fortinet, eScan, McAfee, AVAST' 제품들이 책정되었습니다. 3월 테스트에서 상대적으로 낮은 진단율과 많은 오진으로 일반(STANDARD) 등급을 받았던 트렌드 마이크로는 PANDA, AVIRA와 비슷한 수준의 높은 진단율을 보이며 최상위 등급을 받았습니다. 포티넷 제품도 오진을 상당히 줄여 최상위 등급을 받았으며, AVAST나, AVIRA, 카스퍼스키 등 국내에서 많이 사용되는 외국 제품들도 대부분 최상위 등급에 위치하고 있습니다.
참고로 싱글 테스트에 참여한 KingSoft와 Zeobit 제품들의 긍급은 모두 최상위 등급입니다. 두 제품 모두 AVIRA 엔진을 핵심 엔진으로 삼고 있는데, 타 테스트에 비해 AVIRA 제품의 성적이 상대적으로 잘나오는 AV-Comparatives의 특성이 잘 반영되지 않았나 싶습니다.
최상위 등급에서 상위(ADVANCED) 등급으로 하락한 제품이 4개 제품이나 됩니다. G-DATA와 SOPHOS, PANDA는 오진으로 인해 등급이 하락되었고, ESET은 진단율이 낮아 등급이 떨어졌습니다. ESET의 경우 사전 진단에서는 매우 선방하지만 누적 진단율에서는 유독 힘을 못 쓸때가 많은 것 같습니다.
AVIRA, AVAST와 함께 A 시리즈2를 구성하고 있는AVG는 ESET과 같은 수준의 진단율을 보였으나 오진이 많아 일반 등급으로 떨어졌습니다. 무료 제품이며 윈도우8에 기본 탑재된 MSE(4.0)은 진단율은 높지 않지만 오진이 매우 적어 높은 안정성을 보이고 있습니다. 이번에도 안랩보다 진단율은 떨어졌지만 어떤 환경에서든지 오진이 적다는 점은 매우 강점인 것 같습니다. OS 내에 기본 탑재되는 만큼 안정성에 더욱 더 신경을 쓰는 것으로 보입니다.
지난 테스트에 이어 또 다시 안랩은 최하위(TESTED) 등급을 받았습니다. 이전보다 진단율은 조금 올랐지만 역시 많은 수의 오진으로 인해 일반 등급에서 최하위 등급으로 떨어졌습니다. 국내 환경에서 체감되는 부분과 상당히 다른 결과를 보여주는 이유는 결국 외국 환경에 대해서 적응도가 떨어진다 말할 수 있을 것입니다. 국내 환경과 다르기 때문에 문제 없다고 말하기에는 진단율 자체도 높은 편이 아니기 때문에 개선이 필요하다고 봅니다.
2. 테스트 세부 정보
2012년부터 AV-Comparatives에서 악성코드 종류별 진단 정보 등을 비롯한 세부 테스트 항목을 제공하지 않고 있습니다.
2-1. 테스트 참여 제품 정보
| • AhnLab V3 Internet Security 8.0.6.13 | • G DATA AntiVirus 23.0.3.2 |
| • avast! Free Antivirus 7.0.1466 | • GFI Vipre Antivirus 5.0.5162 |
| • AVG Anti-Virus 2012.0.2197 | • Kaspersky Anti-Virus 13.0.1.4190 |
| • AVIRA Antivirus Premium 12.0.0.1183 | • McAfee AntiVirus Plus 11.6.385 |
| • Bitdefender Anti-Virus+ 16.18.0.1406 | • Microsoft Security Essentials 4.0.1526.0 |
| • BullGuard Antivirus 12.0.231 | • Panda Cloud Free Antivirus 2.0.0 |
| • eScan Anti-Virus 11.0.1139.1225 | • PCTools SpywareDoctor with Antivirus9.0.0.2308 |
| • ESET NOD32 Antivirus 5.2.9.12 | • Sophos Anti-Virus 10.0.8 |
| • F-Secure Anti-Virus 12.56.100 | • Trend Micro Titanium AntiVirus Plus 6.0.1215 |
| • Fortinet FortiClient Lite 4.3.5.472 | • Webroot SecureAnywhere 8.0.1.233 |
테스트에 임하는 기본 환경 설정은 보안 제품의 모든 진단 기능의 감시 및 민감도를 최고 강도로 설정합니다. 단, 일부 제품은 기본 설정 또는 특별한 제한을 두었습니다.
• AVIRA, Kaspersky는 최상위 휴리스틱 및 고급 진단 기능을 모두 사용
• F-secure와 Sophos는 기본 설정 (고급 휴리스틱 진단 사용 안함)
• Avira, AVG는 패커 진단을 테스트에서 제외
(※ 이는 악성코드 진단 및 정상 파일 오진에서도 동일하게 적용되었습니다. 따라서 실제 사용 환경
에서는 테스트결과 보다 진단율과 오진율이 더 높을 수 있습니다.)
• F-secure와 Sophos는 기본 설정 (고급 휴리스틱 진단 사용 안함)
• Avira, AVG는 패커 진단을 테스트에서 제외
(※ 이는 악성코드 진단 및 정상 파일 오진에서도 동일하게 적용되었습니다. 따라서 실제 사용 환경
에서는 테스트결과 보다 진단율과 오진율이 더 높을 수 있습니다.)
2-2. 테스트 세부 결과 정보
(1) 악성코드 샘플
악성코드는 2012년 8월 21일까지 수집된 240,859개의 샘플이 이용되었다고 합니다. 테스트 샘플들은 샘플 수집 최종 기한으로부터 일주일 또는 최대 한 달 전에 수집된 샘플들로 비교적 최신 샘플들을 이용하여 테스트를 진행하였습니다.
(2) 테스트 결과
악성코드 종류별 진단율이 없이 최종 진단율 정보만 제공되고 있습니다.
최종 결과 - 진단율 순위
추가 테스트를 받은 제품들의 세부 결과는 아래와 같습니다. 같은 엔진을 사용하고 있음에도 오진에서 차이가 나는 부분이 흥미롭습니다. 결국 자체 엔진의 성능이나 오진 관리 능력의 차이가 있는 것인데, 자체 엔진으로 인한 것일지, 아니면 자체 관리 능력으로 인한 차이일지 궁금합니다.
아래는 진단하지 못한 악성코드의 수를 비율로 지수화해서 그래프로 표시한 것입니다.
최종 결과 - 미탐지 샘플 수 그래프
이전에도 말했지만 그래프만 놓고 보면 최상위권과 하위권의 차이가 꽤 커보입니다. 물론 테스트에 사용되는 샘플 수가 상당히 많은 편이어서 1%의 진단율 차이가 나타내는 샘플의 수가 작은 것은 아닙니다. 하지만 웹루트 제품을 제외하고 모두 90%가 넘는 진단율을 보이고 있기 때문에 최상위 등급과 일반 등급까지 시그니처 진단 상으로 엄청난 차이가 난다 보기는 어렵다고 봅니다.
아래는 제품별 오진 숫자입니다.
오진 결과
오진 테스트에서는 MSE의 압승입니다. 재작년(11년)에 오진 항목에서 1위를 차지하기도 했던 맥아피의 오진이 비교적 많은 것이 눈에 띕니다. 안랩은 오진의 절대수는 줄었지만 여전히 등급 상 낮은 등급에 위치하고 있습니다.
특별한 설정 변경이 없음에도 트렌드 마이크로가 지난 테스트 대배 150여개의 오진을 줄였습니다. 버전이 5버전에서 6버전으로 증가하면서 내부 설정이나 시그니처가 다소 변경 되지 않았을까 싶습니다. 웹루트는 이번 테스트에서도 여전히 많은 수의 오진을 발생시켰습니다.
오진 수 - 그래프
2-3. 등급 기준
이전 테스트부터 오진 항목에 'Very few' 등급이 추가되었지만 전체 등급 기준에는 영향을 주지 않고 있습니다. 오진 부분은 발생된 오진의 절대 수가 줄어듬에 따라 이전 테스트보다 등급 구간이 좁아졌습니다.
안랩의 경우 외국 테스트에서 좋은 점수 받기가 쉽지 않은 것 같습니다. 다음 테스트에서는 좀 더 개선된 모습이 보였으면 합니다.
- 이상입니다.
반응형