반응형
AV-Comparatives에서 2010년 첫 진단율 테스트 결과를 발표하였습니다.
▶ 관련글
- AV-comparatives : Summary Report 2009 (종합 보고서)
- AV-Comparatives 2월 수동 검사 진단율 테스트 (2009)
- AV-Comparatives 5월 사전 방역 진단율 테스트 (2009)
- AV-comparatives : Summary Report 2009 (종합 보고서)
- AV-Comparatives 2월 수동 검사 진단율 테스트 (2009)
- AV-Comparatives 5월 사전 방역 진단율 테스트 (2009)
출처 : AV-Compatives February 2010 Test Report (테스트 리포트)
Details about Discovered False Alarms (오진 세부 정보 리포트)
Details about Discovered False Alarms (오진 세부 정보 리포트)
오스트리아에 위치한 민간 보안 연구 단체인 AV-Comparatives 에서 2010년 첫 테스트 결과를 발표하였습니다. 이번 테스트는 Av-comparatives의 기본 테스트 일정대로 수동 검사를 이용한 보안 제품들의 악성코드 진단율 테스트입니다.
AV-Comparatives의 테스트에 대해서는 위 관련글의 2월 수동 검사 진단율 테스트와, 5월 사전 방역 진단율 테스트 링크를 참고 바랍니다.
※ '*'가 붙은 제품은 상대적으로 많은 오진으로 인해 등급이 떨어진 것을 의미합니다.
먼저 올해부터 새롭게 테스트에 참여한 제품들이 눈에 띕니다. PCtools와 Panda, TrendMicro, K7 등의 제품들이 새롭게 참여하였습니다. 개인적으로는 판다와 트렌드 마이크로가 눈에 띄는데, 특히 판다의 경우 AV-Comparatives와 같은 외부테스트의 객관성을 문제삼아 테스트에 잘 참여하지 않았었는데 방침을 바꾼 듯 합니다.
PCtools의 경우 스파이웨어 닥터 제품에 AV 엔진이 추가된 제품군이 테스트에 쓰였습니다. 해당 버전은 예전에는 바이러스 버스터를 사용하다가 PCtools 자체 엔진으로 AV 엔진이 변경된 것으로 알고 있는데, 이번 테스트에서 최고 등급을 받았습니다. 개인적으로는 상당히 의외의 결과입니다.
오랜만에 테스트에 참여한 트렌드 마이크로 제품은 테스트 결과가 상당히 나쁘게 나왔습니다. 진단율이 90% 수준으로 킹소프트 제품과 함께 최하위권이고 오진도 38개나 나왔습니다. 이는 휴리스틱 또는 제너릭 진단이 다소 민감하게 동작하기 때문으로 보입니다. 예전에 리뷰에서 다소 민감한 부분이 있지만 전체적인 진단율은 떨어지는 것으로 생각된다고 밝혔는데, 이번 테스트의 결과가 비슷하게 나온 것 같습니다.
역시 오랜만에 테스트에 참여한 판다의 경우 진단율은 안티버에 이어 3위를 차지할 정도로 높았지만 오진이 트렌드 마이크로보다도 높게 나왔습니다. 2008, 2009 버전등을 테스트한 타 자료에서도 오진 부분에서 그리 성능이 좋은 것은 아니긴 하였지만, 해당 제품을 리뷰할 때 개인적으로 테스트 한 것과는 다소 차이가 있어 보입니다. 판다의 진단 처리 방식(정식진단 검역소 미저장 삭제)을 볼 때 이정도면 상당히 클라임이 들어올 수준인데 다소 의아하기도 합니다.
Avira의 경우 이번에는 최고 등급을 받았습니다. 진단율은 항상 좋지만 오진으로 인해 등급이 떨어지곤 했는데 이번에는 오진 등급이 'Few FPs' 항목에(운이 좋게) 속하여 최고 등급을 받을 수 있었습니다. 안티버의 경우 10버전이 곧 정식으로 나올터인데, 새로운 버전에서 안티버의 장점이자 단점인 휴리스틱/제너릭 진단의 정확성이 얼마만큼 향상될 지 기대를 해봅니다.
참고로 TrustPort는 AVG와 비트디펜더의 듀얼 엔진입니다. 2009 버전부터 바뀐 것으로 보이는데 노만이 빠지고 빗디로 바뀐 것입니다. 외국도 국내처럼 비트디펜더의 강세가 대단한 것 같습니다. AVG도 평이 매우 좋은 제품인데 해당 제품에 대해서 한번 알아봐야 할 것 같습니다.
(1) 테스트 참여 제품 정보
테스트에 임하는 기본 환경 설정은 보안 제품의 모든 진단 기능의 감시 및 민감도를 최고 강도로 설정합니다. 단, 일부 제품은 기본 설정 또는 특별한 제한을 두었습니다.
(2) 테스트 결과 세부 정보
테스트는 2월3일까지 수집된 악성코드 120만개와, 2월 10일까지 DB 및 모듈 업데이트가 완료된 20개의 제품을 이용하였습니다.
▶ 아래는 진단율 세부결과 입니다.
위 결과에서 진단율만을 따로 모아둔 자료입니다.
▶ 아래는 오진율 측정입니다.
※ 최종 결과에 반영하는 오진율 등급의 'few'와 'many'의 기준은 15개입니다.
▶ AV-Comparatives에서 밝힌 맥아피, 판다, 트렌드 마이크로 제품들이 클라우드 기술을 사용하지 않았을 때의 진단율과 오진은 아래와 같습니다.
작년 결과보다 avast 등 일부 제품의 오진이 커진 것과 안티버가 오진이 적어진 것 등을 제외하면 크게 차이나지는 않습니다. 새롭게 추가된 인도산 제품인 K7은 진단율은 높지만 매우 많은 오진으로 인해 3등급을 받은 것을 알 수 있습니다. 오스트리아산 이카루스(IKARUS) 제품과 유사한 민감성을 가진 제품으로 생각됩니다.
판다의 경우 2010 버전이 실시간 감시에서 클라우딩 기술을 이용하지 않기 때문에 실제 사용자가 느낄 수 있는 수준은 테스트 위 박스 수준일 것으로 생각됩니다. 그리고 트렌드 마이크로의 경우 리뷰하면서 체감할 수 있는 수준은 아니었는데 클라우드 기술을 통한 진단값이 상당히 높은 것을 알 수 있었습니다. 리뷰를 할 때 진단명을 기준으로 확인을 하였는데, 아마도 휴리스틱 진단값과 클라우딩 기술을 이용해서 진단된 진단값의 진단명에 혼란이 있었기 때문이 아닐까 생각됩니다. 사실 해당 항목에 대해서는 정보가 없어서 여전히 구분을 못하고 있습니다.
맥아피의 경우 큰차이는 없었지만 클라우딩 기술을 사용하는 제품들의 경우 해당 기술을 사용하고 안하고가 성능에 굉장한 영향을 미치는 것을 알 수 있습니다.
소포스의 경우 오진율이 상당히 낮게 나왔습니다. 물론 매우 민감하다 평가받는 소포스의 휴리스틱 진단이 빠진 상황이지만, 동일한 상황에서 이루어졌던 이전 테스트에서는 항상 높은 수준의 오진을 보였던 만큼 어느 정도 이 부분에 대해 개선이 있지 않았나 예상됩니다.
안티버의 경우 패커 진단을 테스트에서 제외하였는데도 진단율이 매우 높은 것을 보면 역시 대단한 제품 같습니다. 물론 오진의 일부는 패커 진단에서 많이 나오기 때문에 오진이 적게 측정된 것으로 생각됩니다.
물어보신 분이 있어 추가해둡니다. ^^
다음번 테스트부터는 오진과 관련되어 좀 더 엄격한 분류를 할 것이라고 합니다.
2010년 첫 수동 검사 테스트 결과를 정리해 보았습니다.
이번 테스트부터 테스트에 사용되는 악성코드 샘플을 가급적 최근에 유포되고 있는 것을 이용하려 한다는 것을 강조하고 합니다. 작년 테스트까지는 악성코드 샘플을 해당 년도 또는 전년도에 발견된 샘플을 이용하여 SET A/B로 나누어 테스트하였습니다. 최근에 수집된 것과 누적된 악성코드 샘플을 함께 사용한 것인데, 올해부터 변경된 것입니다. 이는 테스트의 중요 항목이 변화된 것으로 의미하는 바가 크다고 생각합니다.
실제적으로 유포되는 악성코드의 70% 가까이는 Trojan 류이고 이러한 악성코드는 심하면 몇 시간내에 변종이 유포되기도 합니다. 또한, 상대적으로 매우 큰 피해를 입히는 웜이나 봇 등의 악성코드도 며칠내에 변종이 나타나는 등 보안 제품의 사전 진단과 빠른 대응력이 매우 중요해진 것은 몇차례에 걸쳐 강조한 부분입니다.
또한, 오진과 관련되어 좀 더 엄격한 기준을 적용하여 최종 결과 분류 등급을 구분하려 한다고 합니다. 이는 앞서 말한 사전 진단 및 빠른 대응과 함께 중요시되는 항목으로 많은 수의 악성코드를 빠르게 진단하면서도 정상 파일에 대한 오진을 줄이는 것이 매우 중요하기 때문입니다.
결과적으로 이러한 변화는 테스트에서 가장 중요한 부분들을 개선하는 것이라 볼 수 있습니다.
올해부터 변경되는 AV-Comparatives의 테스트는 보안 제품의 좀 더 실제적인 성능을 파악할 수 있는데 더 도움이 될 것으로 보입니다. 테스트 결과가 얼마나 현실에 근접한 결과를 보여줄 수 있을 지 기대가 됩니다.
- 이상입니다.
AV-Comparatives의 테스트에 대해서는 위 관련글의 2월 수동 검사 진단율 테스트와, 5월 사전 방역 진단율 테스트 링크를 참고 바랍니다.
1. 테스트 결과
최종 결과 정리 - 순위
※ '*'가 붙은 제품은 상대적으로 많은 오진으로 인해 등급이 떨어진 것을 의미합니다.
먼저 올해부터 새롭게 테스트에 참여한 제품들이 눈에 띕니다. PCtools와 Panda, TrendMicro, K7 등의 제품들이 새롭게 참여하였습니다. 개인적으로는 판다와 트렌드 마이크로가 눈에 띄는데, 특히 판다의 경우 AV-Comparatives와 같은 외부테스트의 객관성을 문제삼아 테스트에 잘 참여하지 않았었는데 방침을 바꾼 듯 합니다.
PCtools의 경우 스파이웨어 닥터 제품에 AV 엔진이 추가된 제품군이 테스트에 쓰였습니다. 해당 버전은 예전에는 바이러스 버스터를 사용하다가 PCtools 자체 엔진으로 AV 엔진이 변경된 것으로 알고 있는데, 이번 테스트에서 최고 등급을 받았습니다. 개인적으로는 상당히 의외의 결과입니다.
오랜만에 테스트에 참여한 트렌드 마이크로 제품은 테스트 결과가 상당히 나쁘게 나왔습니다. 진단율이 90% 수준으로 킹소프트 제품과 함께 최하위권이고 오진도 38개나 나왔습니다. 이는 휴리스틱 또는 제너릭 진단이 다소 민감하게 동작하기 때문으로 보입니다. 예전에 리뷰에서 다소 민감한 부분이 있지만 전체적인 진단율은 떨어지는 것으로 생각된다고 밝혔는데, 이번 테스트의 결과가 비슷하게 나온 것 같습니다.
역시 오랜만에 테스트에 참여한 판다의 경우 진단율은 안티버에 이어 3위를 차지할 정도로 높았지만 오진이 트렌드 마이크로보다도 높게 나왔습니다. 2008, 2009 버전등을 테스트한 타 자료에서도 오진 부분에서 그리 성능이 좋은 것은 아니긴 하였지만, 해당 제품을 리뷰할 때 개인적으로 테스트 한 것과는 다소 차이가 있어 보입니다. 판다의 진단 처리 방식(정식진단 검역소 미저장 삭제)을 볼 때 이정도면 상당히 클라임이 들어올 수준인데 다소 의아하기도 합니다.
Avira의 경우 이번에는 최고 등급을 받았습니다. 진단율은 항상 좋지만 오진으로 인해 등급이 떨어지곤 했는데 이번에는 오진 등급이 'Few FPs' 항목에(운이 좋게) 속하여 최고 등급을 받을 수 있었습니다. 안티버의 경우 10버전이 곧 정식으로 나올터인데, 새로운 버전에서 안티버의 장점이자 단점인 휴리스틱/제너릭 진단의 정확성이 얼마만큼 향상될 지 기대를 해봅니다.
참고로 TrustPort는 AVG와 비트디펜더의 듀얼 엔진입니다. 2009 버전부터 바뀐 것으로 보이는데 노만이 빠지고 빗디로 바뀐 것입니다. 외국도 국내처럼 비트디펜더의 강세가 대단한 것 같습니다. AVG도 평이 매우 좋은 제품인데 해당 제품에 대해서 한번 알아봐야 할 것 같습니다.
2. 테스트 세부 정보
(1) 테스트 참여 제품 정보
• avast! Free Antivirus 5.0.396 • AVG Anti-Virus 9.0.733
• AVIRA AntiVir Premium 9.0.733 • BitDefender Antivirus 13.0.1347 (2010)
• eScan Anti-Virus 10.0.1058.644 • ESET NOD32 Antivirus 4.0.474.0
• F-Secure Anti-Virus 10.12.108 (2010) • G DATA AntiVirus 20.2.4.1 (2010)
• K7 TotalSecurity 10.0.0025 • Kaspersky Anti-Virus 9.0.0.736 (a,b)
• Kingsoft AntiVirus 2010.2.10.1 • McAfee AntiVirus Plus 14.0.306 (2010)
• Microsoft Security Essentials 1.0.1611.0
• Norman Antivirus & Anti-Spyware 7.30 • Panda Antivirus Pro 9.01.00 (2010)
• PC Tools Spyware Doctor with AV 7.0.0.514
• Sophos Anti-Virus 9.0.3
• Symantec Norton Anti-Virus 17.5.0.127 (2010)
• Trend Micro AntiVirus plus AntiSpyware 17.50.1366.0 (2010)
• Trustport Antivirus 5.0.0.4087 (2010)
• AVIRA AntiVir Premium 9.0.733 • BitDefender Antivirus 13.0.1347 (2010)
• eScan Anti-Virus 10.0.1058.644 • ESET NOD32 Antivirus 4.0.474.0
• F-Secure Anti-Virus 10.12.108 (2010) • G DATA AntiVirus 20.2.4.1 (2010)
• K7 TotalSecurity 10.0.0025 • Kaspersky Anti-Virus 9.0.0.736 (a,b)
• Kingsoft AntiVirus 2010.2.10.1 • McAfee AntiVirus Plus 14.0.306 (2010)
• Microsoft Security Essentials 1.0.1611.0
• Norman Antivirus & Anti-Spyware 7.30 • Panda Antivirus Pro 9.01.00 (2010)
• PC Tools Spyware Doctor with AV 7.0.0.514
• Sophos Anti-Virus 9.0.3
• Symantec Norton Anti-Virus 17.5.0.127 (2010)
• Trend Micro AntiVirus plus AntiSpyware 17.50.1366.0 (2010)
• Trustport Antivirus 5.0.0.4087 (2010)
테스트에 임하는 기본 환경 설정은 보안 제품의 모든 진단 기능의 감시 및 민감도를 최고 강도로 설정합니다. 단, 일부 제품은 기본 설정 또는 특별한 제한을 두었습니다.
• 에프시큐어, 소포스는 기본 설정 (휴리스틱 진단 사용 안함)
• AVG, 안티버의 경우 패커 진단을 테스트에서 제외하였습니다. 이는 악성코드 진단 및 정상
파일 오진에서도 마찬가지로 적용되었습니다. 따라서 실제 사용 환경에서는 테스트 결과 보
다 진단율과 오진율이 더 높을 수 있습니다.
• 맥아피와 판다, 트렌드 마이크로의 경우 클라우디 기술을 사용하여 진단값을 측정하였습니
다. 따라서 타 제품에 비해 측정시 약간의 이점이 있었습니다.
단, 맥아피의 경우 클라우딩의 민감도는 기본 설정입니다.
• AVG, 안티버의 경우 패커 진단을 테스트에서 제외하였습니다. 이는 악성코드 진단 및 정상
파일 오진에서도 마찬가지로 적용되었습니다. 따라서 실제 사용 환경에서는 테스트 결과 보
다 진단율과 오진율이 더 높을 수 있습니다.
• 맥아피와 판다, 트렌드 마이크로의 경우 클라우디 기술을 사용하여 진단값을 측정하였습니
다. 따라서 타 제품에 비해 측정시 약간의 이점이 있었습니다.
단, 맥아피의 경우 클라우딩의 민감도는 기본 설정입니다.
(2) 테스트 결과 세부 정보
테스트는 2월3일까지 수집된 악성코드 120만개와, 2월 10일까지 DB 및 모듈 업데이트가 완료된 20개의 제품을 이용하였습니다.
▶ 아래는 진단율 세부결과 입니다.
진단율 세부 결과
위 결과에서 진단율만을 따로 모아둔 자료입니다.
진단율 최종 결과
▶ 아래는 오진율 측정입니다.
※ 최종 결과에 반영하는 오진율 등급의 'few'와 'many'의 기준은 15개입니다.
▶ AV-Comparatives에서 밝힌 맥아피, 판다, 트렌드 마이크로 제품들이 클라우드 기술을 사용하지 않았을 때의 진단율과 오진은 아래와 같습니다.
• 맥아피 : 94.9% (19개 오진) , 최고 강도 사용시 99.0% (오진율 매우 큼)
• 판다 : 73.3% (32개 오진)
• 트렌드 마이크로 : 38.5% (22개 오진)
• 판다 : 73.3% (32개 오진)
• 트렌드 마이크로 : 38.5% (22개 오진)
작년 결과보다 avast 등 일부 제품의 오진이 커진 것과 안티버가 오진이 적어진 것 등을 제외하면 크게 차이나지는 않습니다. 새롭게 추가된 인도산 제품인 K7은 진단율은 높지만 매우 많은 오진으로 인해 3등급을 받은 것을 알 수 있습니다. 오스트리아산 이카루스(IKARUS) 제품과 유사한 민감성을 가진 제품으로 생각됩니다.
판다의 경우 2010 버전이 실시간 감시에서 클라우딩 기술을 이용하지 않기 때문에 실제 사용자가 느낄 수 있는 수준은 테스트 위 박스 수준일 것으로 생각됩니다. 그리고 트렌드 마이크로의 경우 리뷰하면서 체감할 수 있는 수준은 아니었는데 클라우드 기술을 통한 진단값이 상당히 높은 것을 알 수 있었습니다. 리뷰를 할 때 진단명을 기준으로 확인을 하였는데, 아마도 휴리스틱 진단값과 클라우딩 기술을 이용해서 진단된 진단값의 진단명에 혼란이 있었기 때문이 아닐까 생각됩니다. 사실 해당 항목에 대해서는 정보가 없어서 여전히 구분을 못하고 있습니다.
맥아피의 경우 큰차이는 없었지만 클라우딩 기술을 사용하는 제품들의 경우 해당 기술을 사용하고 안하고가 성능에 굉장한 영향을 미치는 것을 알 수 있습니다.
소포스의 경우 오진율이 상당히 낮게 나왔습니다. 물론 매우 민감하다 평가받는 소포스의 휴리스틱 진단이 빠진 상황이지만, 동일한 상황에서 이루어졌던 이전 테스트에서는 항상 높은 수준의 오진을 보였던 만큼 어느 정도 이 부분에 대해 개선이 있지 않았나 예상됩니다.
안티버의 경우 패커 진단을 테스트에서 제외하였는데도 진단율이 매우 높은 것을 보면 역시 대단한 제품 같습니다. 물론 오진의 일부는 패커 진단에서 많이 나오기 때문에 오진이 적게 측정된 것으로 생각됩니다.
3. 테스트 등급 분류 기준
물어보신 분이 있어 추가해둡니다. ^^
다음번 테스트부터는 오진과 관련되어 좀 더 엄격한 분류를 할 것이라고 합니다.
2010년 첫 수동 검사 테스트 결과를 정리해 보았습니다.
이번 테스트부터 테스트에 사용되는 악성코드 샘플을 가급적 최근에 유포되고 있는 것을 이용하려 한다는 것을 강조하고 합니다. 작년 테스트까지는 악성코드 샘플을 해당 년도 또는 전년도에 발견된 샘플을 이용하여 SET A/B로 나누어 테스트하였습니다. 최근에 수집된 것과 누적된 악성코드 샘플을 함께 사용한 것인데, 올해부터 변경된 것입니다. 이는 테스트의 중요 항목이 변화된 것으로 의미하는 바가 크다고 생각합니다.
실제적으로 유포되는 악성코드의 70% 가까이는 Trojan 류이고 이러한 악성코드는 심하면 몇 시간내에 변종이 유포되기도 합니다. 또한, 상대적으로 매우 큰 피해를 입히는 웜이나 봇 등의 악성코드도 며칠내에 변종이 나타나는 등 보안 제품의 사전 진단과 빠른 대응력이 매우 중요해진 것은 몇차례에 걸쳐 강조한 부분입니다.
또한, 오진과 관련되어 좀 더 엄격한 기준을 적용하여 최종 결과 분류 등급을 구분하려 한다고 합니다. 이는 앞서 말한 사전 진단 및 빠른 대응과 함께 중요시되는 항목으로 많은 수의 악성코드를 빠르게 진단하면서도 정상 파일에 대한 오진을 줄이는 것이 매우 중요하기 때문입니다.
결과적으로 이러한 변화는 테스트에서 가장 중요한 부분들을 개선하는 것이라 볼 수 있습니다.
올해부터 변경되는 AV-Comparatives의 테스트는 보안 제품의 좀 더 실제적인 성능을 파악할 수 있는데 더 도움이 될 것으로 보입니다. 테스트 결과가 얼마나 현실에 근접한 결과를 보여줄 수 있을 지 기대가 됩니다.
- 이상입니다.
반응형
'▶ 보안 제품 테스트 정보 > :: AV-Comparatives' 카테고리의 다른 글
| AV-Comparatives 9월 안티-바이러스 수동 검사 진단율 테스트 (2010) (16) | 2010.09.25 |
|---|---|
| AV-Comparatives 6월 안티-바이러스 사전 방역 진단율 테스트 (2010) (8) | 2010.06.13 |
| AV-comparatives : Summary Report 2009 (종합 보고서) (0) | 2009.12.24 |
| AV-comparatives : Whole Product Dynamic Test (6) | 2009.12.19 |
| AV-Comparatives 12월 PUA(애드/스파이웨어,허위 프로그램) 진단율 테스트 (2009) (5) | 2009.12.04 |