▶ 보안 제품 테스트 정보/:: AV-Comparatives

AV-Comparatives 시스템 퍼포먼스 영향 평가 - Performance Test (Anvi-virus, 2011)

물여우 2011. 12. 10. 10:52
반응형
Av-Comparatives에서 실시한 안티 바이러스의 시스템 퍼포먼스 테스트 결과를 살펴봅니다.




보안 관련 연구 단체인 AV-Comparatives에서 하반기 "Performance Test" 결과를 발표하였습니다.

Performance Test는 안티 바이러스 제품이 사용자 시스템의 성능을 얼마나 감소시키는가를 측정하는 테스트입니다. 보통 안티 바이러스가 '무겁다 가볍다'로 표현되는 부분인데, 성능 감소에 대해서는 주관적인 느낌이 영향을 많이 미치기 때문에 테스트 결과가 사용자의 체감도와 다를 때가 많습니다.

AV-Comparatives에서는 이러한 퍼포먼스 테스트를 1년에 두 차례 나뉘어서 실시합니다. 처음 실시하는 테스트는 이번에 살펴보는 테스트로 'Security Suite' 제품군, 보통 IS(Internet Security) 제품군을 중심으로 하며, 하반기에는 AV(Anti-Virus) 제품군을 기준으로 테스트 합니다.

이번 테스트는 하반기 안티 바이러스 제품군 테스트로 방화벽과 HIPS(일부 제품에서) 기능들이 포함되지 않은 제품들을 테스트하였습니다.


1. 테스트 최종 결과

최종 결과 - 등급별 구분


전체 순위에서 ESET이 1등을 차지하였습니다. 상반기 IS 제품군 테스트에서 1위였던 시만텍에 4위로 밀린 것이 눈에 띕니다. 약간의 순위 변동은 있지만 가벼운 제품군과 무거운 제품군은 판다를 기준으로 구분되는 것 같습니다. 판다보다 위에는 상대적으로 가벼운 제품들이고 판다보다 아래의 제품들은 상대적으로 무거운 제품들입니다. 벤치 결과지만 체감적으로 느끼는 것과 경향 자체는 비슷한 것 같습니다.


맥아피나 비트디펜더 등은 듀얼 엔진 제품도 아닌데 왜 이리 무거운지 알 수가 없습니다. 특히 맥아피의 경우 자체적인 최적화가 많이 필요하다고 봅니다. 시그니처 진단 밖에 없는 제품이 이리 무겁다는 것은 자체 엔진의 최적화가 덜 되었다고 밖에 볼 수가 없습니다.

2. 세부 결과

2-1. 참여 제품 및 시스템 정보

참여한 제품의 정보는 아래와 같습니다.

avast! Free Antivirus 6.0

McAfee AntiVirus Plus 2012

AVG Anti-Virus 2012

Microsoft Security Essentials 2.1

AVIRA Free Antivirus 2012

Panda Cloud Antivirus Free 1.5.1

Bitdefender Antivirus Plus 2012

PC Tools Spyware Doctor with Antivirus 2012

eScan Anti-Virus 11

Qihoo 360 Antivirus 2.0

ESET NOD32 Antivirus 5

Sophos Endpoint Security 9.7

F-Secure Anti-Virus 2012

Symantec Norton AntiVirus 2012

G DATA AntiVirus 2012

Trend Micro Titanium Antivirus Plus 2012

K7 Antivirus Plus 11.1

TrustPort Antivirus 2012

Kaspersky Anti-Virus 2012

Webroot SecureAnywhere Antivirus 2012


모든 제품들은 설치시 설정된 기본 상태에서 테스트에 임하였습니다.


테스트 환경은 아래와 같습니다.

- CPU : Intel Core i5 2.67
- RAM : 4GB
- HDD : SATA2
- OS : 윈도우 7 (64bit SP1)

상반기 테스트가 상대적으로 구형 PC에서 이루어졌다면, 이번 테스트는 반대로 상당히 높은 성능의 PC 환경에서 이루어졌습니다. 또한 상반기 테스트에 이어 64비트 윈도우7을 이용하고 있습니다. 확실히 64비트가 대세임을 알 수 있는 것 같습니다.


2-2. 테스트 항목별 결과

모든 테스트 항목들은 안티 바이러스가 설치되지 않은 상태를 기준으로 얼마만큼의 시간 지연 등이 일어났는가를 측정하여 등급을 매겼습니다. 등급 기준은 각 테스트마다 다릅니다.

테스트 항목은 아래와 같습니다.

• File copying (파일 복사 속도)
• Archiving / Unarchiving (압축 및 압축 해제 속도)
• Encoding / Transcoding (인코딩 및 변환 속도)
• Installing / Uninstalling applications (프로그램 설치 및 제거 속도)
• Launching applications (프로그램 구동 시간 측정)
• Downloading files (파일 다운로드 속도)
• PC Mark 7 Professional Testing Suite (피시마크 벤치 테스트)



이번 테스트부터 보기 좋게 일반 자체 테스트 결과를 위와 같이 단일 표로 제공해주고 있습니다. 다만 속도 차이는 서로 다른 색상을 이용하여 표시했으면 더 확실한 구분이 되었을 것이라 생각됩니다.

테스트 세부 결과 및 테스트에 대한 설명은 아래와 같습니다.


(1) File Copyng - 파일 복사 속도 측정


약 4기가에 이르는 다양한 포맷들(이미지, 동영상, 문서, 음악, 문서, 시스템 파일 및 압축 파일 등)의 복사 속도를 측정하였습니다. 일반적으로 이 테스트는 실시간 감시 항목과 연계됩니다.

두 가지 항목이 존재하는데, 왼쪽은 최초 복사시 측정한 값이며, 오른쪽 항목은 최초 이동 후 각 제품에서 존재하는 검사 최적화 기능(예 : 카스퍼스키의 Iswift, Icheker 기능) 등으로 인해, 캐쉬 파일이 생성되어 실시간 검사에서 제외되는 파일이 존재할 때 측정한 값입니다.

대부분의 제품이 캐쉬 기능이 존재함을 알 수 있습니다. 맥아피와 피시 툴즈가 떨어지는 부분이 Trustport 등 무겁게 평가되는 제품들은 캐쉬 기능이 미비하거나 거의 없어서 체감상 무겁게 느껴지는 것을 확인할 수 있습니다.


(2) Archiving and Unrchiving - 파일 압축 및 압축 해제 시간 측정


역시 실시간 감시의 퍼포먼스와 연계된 테스트입니다. 비트디펜더와 Trustport, Pctools는 매우 속도가 느림을 알 수 있습니다. 실시간 감시 엔진의 최적화가 필요하다고 봅니다.


(3) Encoding/TransCoding - 인코딩 및 포맷 변환 시간 측정


HandBreakCLI 프로그램으로 FFMpeg, IPOD 전용 포맷으로의 인코딩 시간을 측정하였습니다. 역시 실시간 감시와 관계가 깊습니다.
(MP3 files to WAV, MP3 to WMA, AVI to MPG and MPG to AVI 변환 시간 측정)


(4) Installing/UnInstalling Applicataions - 프로그램 설치 및 제거 시간 측정


MSI Installer를 사용하여 설치 또는 제거는 프로그램들의 설치 및 제거 시간을 측정하였습니다.


(5) Lunching Applications - 프로그램 구동 속도 측정


구동이 안 된 상태에서 마이크로소프트 오피스와 어도비 아코로뱃 리더를 통해 문서 파일을 열고 닫는 시간을 측정하였습니다. 파일 복사 시간 측정 테스트와 마찬가지로 두 가지 항목이 존재합니다. 상대적으로 용량이 큰 문서 파일을 이용했다고 합니다.


(6) Downloading files from the Internet - 인터넷 다운로드 속도 시간 측정


상반기 테스트와 거의 동일합니다. 작년(1GB bit 전송 속도를 가진 네트워크에서 대용량 파일의 다운로드 속도 측정)과 달리 세부적인 정보가 공개되지 않았습니다.

모든 제품이 'Very Fast' 등급을 획득했다고 합니다. 웹감시 기능도 대부분 기준값 이상되는 용량을 가진 파일은 검사를 제외시키기 때문에 네트워크 속도에는 크게 영향을 주지 않습니다.


(7) PC Mark Test - 전문 벤치 프로그램 테스트


PCMark Vantage라는 전문 벤치마크 프로그램을 통해 CPU, GPU등 다양한 항목의 점수를 측정합니다. 안티 바이러스 미 설치시 나온 결과값인 2024을 기준으로 각 안티 바이러스 제품이 설치되었을 때의 점수를 백분율화 하여 결과값을 부여하였습니다.


여기서는 K7 제품이 1등을 차지하였습니다. 2000점이 넘는 제품들이 카스퍼스키까지 10제품이라는 것은 그만큼 제품들의 차이가 크지 않다는 증거로 보입니다.



앞서 판다를 기준으로 무겁다 가볍다를 평가했었습니다. 재밌는 점은 판다 제품은 클라우드 제품을 테스트에 참여시켰는데, 클라우드 제품이라고해도 최근의 제품들 최적화로 인하여 광고처럼 타 제품보다 뛰어나게 가벼운 것은 아닌 것을 확인할 수 있었다는 점입니다.


- 이상입니다.

반응형