안티멀웨어테스트랩의 각 보안 제품별 퍼포먼스에 대한 비교 테스트 결과입니다.



러시아의 보안 관련 연구 단체인 Anti-Malware Test Lab에서 보안 제품 퍼포먼스 비교 테스트 결과를 발표하였습니다. 안티멀웨어테스트랩의 첫번째 퍼포먼스 테스트 결과인데 최근들어 각종 보안 연구 단체에서 퍼포먼스 테스트가 진행되는 것을 볼 때, 보안 제품의 퍼포먼스가 매우 중요한 선택 요소가 되었음을 실감하게 됩니다.

해당 테스트의 세부 결과는 아래 링크를 참고 바랍니다.



1. 테스트 참여 제품 및 테스트 환경

테스트가 시행된 시점은 2009년 12월 20일부터 2010년 1월5일까지였습니다. 해당 테스트 시점에서 보면 테스트는 비교적 최신 버전의 제품들을 이용했음을 알 수 있습니다.

  • Avast Antivirus Professional 4.8.1368
  • AVG Anti-Virus & Anti-Spyware 9.0.716
  • Avira Antivir Preminum 9.0.0.75
  • BitDefender Anti-Virus 2010 (13.0.18.345)
  • Dr.Web 5.01.1.11171
  • Eset Nod32 4.0.4680
  • F-Secure Anti-Virus 2010 (10.10 build 246)
  • Kaspersky Anti-Virus 2010 (9.0.0.736 (a,b))
  • McAfee VirusScan Plus 2010 (13.15.113)
  • Microsoft Security Essentials 1.0.1611.0
  • Norton Anti-Virus 2010 (17.1.0.19)
  • Outpost Antivirus Pro 2009 (6.7.1.2983.450.0714)
  • Panda Antivirus 2010 (9.01.00)
  • Sophos Anti-Virus 9.0.0
  • Trend Micro Antivirus plus Antispyware 2010 (17.50.1366)
  • VBA32 WinNT Workstation 3.12.12.0



사용된 OS는 XP SP3이며, 사용환경은 아래와 같습니다. 최근 사용되는 PC들의 평균 혹은 그보다 조금 아래 사양을 가진 시스템입니다.

  • CPU         :  Intel Core 2 Duo E6550
  • 메인보드   :  MSI P35 Neo-F
  • RAM         :  2048 MB
  • VGA         :  GeForce 8800 GTS 640MB
  • HDD         :  80 GB (ST380013AS)



2. 테스트 항목들

총 5가지의 퍼포먼스 측정하였습니다.

1.Operation system boot time.   - 시스템 부팅 타임 딜레이 측정

2.Memory & CPU used by antivirus software.  - 물리 메모리 및 시스템 캐쉬 사용율 측정

3.File copying performance (on-access antivirus scanner performance testing).
  - 실시간 감시 퍼포먼스 (파일 복사)

4.Scan speed (on-demand antivirus scanner performance testing).
  - 수동 검사 퍼포먼스 (스캔 속도)

5.Boot time for the five most popular office applications.   - 오피스 프로그램들의 로딩 속도


3. 테스트 결과


(1) 부팅 타임 딜레이 측정


안티버, 노드, 노턴 등이 좋은 결과를 보여주었습니다. 트렌드 마이크로도 생각한 것처럼 부팅 딜레이는 비교적은 제품같습니다.




(2) 메모리 및 시스템 캐쉬 사용율 측정

메모리 사용율은 퍼포먼스와 관련되어서는 예전에는 매우 중요한 부분이었지만, 퍼포먼스와 메모리 사용율의 인과관계가 많이 희박해졌습니다. 메모리 자체의 속도와 저장량의 절대치가 매우 커진것이 주요 원인으로 생각됩니다. 개인적으로는 보안 제품이 HDD에 저장된 파일을 읽고 쓰는 것에 대한 퍼포먼스가 더 중요하다 생각됩니다.




해당 테스트에서는 아웃포스트와 비트디펜더가 매우 좋은 결과를 보여줍니다.
그러나 비트디펜더는 상당히 무겁습니다. ^^;

(3) 파일 복사 시간 측정 - 실시간 감시 퍼포먼스

어베스트와 안티버, 노턴 등이 좋은 결과를 보여주었습니다. 비트디펜더도 의외로 좋은 결과를 보여주었습니다.


아쉽게도 단순 복사 속도만 측정한 것이라 아래 5번째 테스트인 프로그램 로딩 시간 측정 테스트까지 고려해봐도 실시간 감시의 퍼포먼스를 측정하는데에는 다소 부족하지 않나 생각됩니다.



(4) 수동 검사 스캔 속도 측정

수동 검사 스캔 속도는 두 번 테스트를 진행하였습니다. 이유는 카스퍼스키와 노턴 등 스캔의 효율성을 위해 안전하다 판별된 파일을 검사에서 제외하는 기술들이 제품들이 많기 때문입니다. 그렇긴 해도 테스트 결과는 첫 번째 수동 검사의 스캔 속도에 영향을 많이 받은 것 같습니다.


그런데 안티버와 비트디펜더는 정상 파일 검사을 자동 분류해서 검사에 제외하는 기능이 따로 없는 것으로 아는데 2번째 재스캔 속도가 차이가 많이 나는 것을 볼 수 있었습니다. 테스트에 사용된 세부 환경 설정이 궁금해집니다.


(5) 오피스 프로그램 로딩 속도 측정

오피스 프로그램은 MS 오피스가 아닌 사무용으로 쓰이는 제품들을 뜻합니다. 테스트에 사용된 제품은 MS Word, IE8, MS Outlook, Adobe Acobat Reader, Adobe Photoshop 등 5가지 입니다.
이 테스트의 결과도 실시간 감시 기능의 퍼포먼스와 연관성이 깊습니다.





절대적인 것은 아니지만 행동 기반 검사 기능이 없는 제품들이 타 프로그램 로딩에 대해서는 비교적 좋은 성능을 보여주는 것 같습니다.

에프시큐어와 카스퍼스키 경우 프로그램 로딩이 느린 것은 비교적 고질적인 것으로 보입니다. 의외였던 것은 노턴과 비트디펜더의 결과입니다. 노턴의 경우 2009 버전에 비해 2010 버전은 퍼포먼스 부분에서는 약간 떨어지는 것 같습니다.




개인적으로 퍼포먼스 테스트는 일부러 포스팅을 피해왔었습니다. 퍼포먼스 테스트는 악성코드 진단율 테스트에 비해서 개인들이 느끼는 실제 체감도와 테스트결과가 많이 차이가 난다 생각하기 때문입니다. 이유는 퍼포먼스 테스트의 경우 시스템의 사용 환경에 따라 결과가 차이가 나는 경우가 많기 때문입니다. 사용된 OS, 시스템의 하드웨어 종류 및 사양, 설치된 프로그램과 실제 로딩되어 있는 프로그램 등등 매우 다양한 변수가 있지만 이를 테스트에서 모두 고려할 수 없기 때문입니다. 그리고 사용자가 중요하게 느끼는 퍼포먼스의 항목들이 다르고, 퍼포먼스 체감도 자체가 매우 주관적인 것도 포함됩니다. 

그러나 보안 제품의 선택에 있어 퍼포먼스가 점점 더 중요해지기 때문에 포스팅을 해봤습니다. 앞으로도 기회가 되면 다른 테스트들도 올려보도록 하겠습니다. 

넷북 등의 저사양 제품들이 인기를 끄는 것도 이유 중 하나이겠으나, PC들의 사양이 점점 더 고사양화되어가는데도 불구하고 오히려 퍼포먼스의 중요성은 점점 더 커지는 것이 개인적으로는 약간 의아하기도 합니다. 물론 빨라지면 빨라질 수록 약간의 딜레이는 반대로 더 크게 느껴지는 것을 모르는 것은 아닙니다만 ㅡ.ㅡ


- 이상입니다.

Posted by 물여우

댓글을 달아 주세요

  1. 세의 2010.02.15 19:34 신고  댓글주소  수정/삭제  댓글쓰기

    언제나 이런 테스트는 말이 많은 거 같아요.

    • Favicon of http://arrestlove.tistory.com BlogIcon 물여우 2010.02.15 20:07 신고  댓글주소  수정/삭제

      진단율 테스트에 대한 것보다 말이 더 나올까요? ㅎㅎ

      그렇긴 해도 확실히 악성코드 진단보다 훨씬 더 변수가 많은 테스트인 것은 확실하지요.

  2. Favicon of http://esetjung-a.tistory.com BlogIcon Jung-A 2010.02.16 19:11 신고  댓글주소  수정/삭제  댓글쓰기

    ESET가.....중상위권정도는 되네...~_~
    믹스업 하구 가요..^^

  3. Favicon of http://blog.naver.com/hahaj1 BlogIcon 역지사지 2010.02.19 01:10 신고  댓글주소  수정/삭제  댓글쓰기

    HDD가 아닌 SSD에서는 어떤 결과가 나올지 문득 궁금해지네요...
    몇몇 테스트는 의미가 없어질지도 모른다는 추정이 됩니다만... ㅎㅎ

    • Favicon of http://arrestlove.tistory.com BlogIcon 물여우 2010.02.19 10:02 신고  댓글주소  수정/삭제

      하드 자체의 속도가 더 빨라지니, 보안 제품들의 부팅 딜레이나, 파일 처리 속도가 시스템 속도에 영향을 더 줄지도 모르죠 ㅎㅎ

      요즘 세상에 메모리 점유율은 별 문제가 없을 것 같은데, 이런 건 좀 빼고 개인적으로는 압축을 풀 때, 인코딩의 속도, 네트워크 다운로드 속도 등 사용자가 민감하게 느낄 수 있는 항목들을 좀 테스트해주었으면 하네요.




티스토리 툴바