▶ 보안 제품 테스트 정보/:: AV-Comparatives

AV-Comparatives 시스템 퍼포먼스 영향 평가 - Performance Test (Anti-Virus, 2012)

물여우 2013. 4. 8. 08:30
반응형
AV-Comparatives에서 실시한 보안 제품들의 시스템 퍼포먼스 테스트 결과를 살펴봅니다.




보안 관련 연구 단체인 AV-Comparatives에서 하반기 "Performance Test" 결과를 발표하였습니다.

Performance Test는 안티 바이러스 제품이 사용자 시스템의 성능을 얼마나 감소시키는가를 측정하는 테스트입니다. 보통 안티 바이러스가 '무겁다 가볍다'로 표현되는 부분인데, 성능 감소에 대해서는 PC 사양과 사용자의 주관적인 느낌이 영향을 많이 미치기 때문에 테스트 결과가 사용자의 체감도와 다를 때가 많습니다.

AV-Comparatives에서는 이러한 퍼포먼스 테스트를 1년에 두 차례 나뉘어서 실시합니다. 처음 실시하는 테스트는 이번에 살펴보는 테스트로 'Security Suite' 제품군, 보통 IS(Internet Security) 제품군을 중심으로 하며, 하반기에는 AV(Anti-Virus) 제품군을 기준으로 테스트 합니다.

이번 테스트는 하반기 인터넷 시큐리티 제품군이 사용되었으며, 이들 제품은 주로 안티바이러스 진단 엔진만을 포함하는 경우가 많지만 일부 HIPS(행동 기반 진단)나 SandBox(가상화) 기능을 포함하고 있는 제품들도 있습니다.

상반기 테스트와 달리 안랩은 유료 제품군에는 AV 제품이 없기 때문에 테스트에 참여하지 않았습니다.


1. 테스트 최종 결과

최종 결과 - 등급별 구분



상반기에 이어 Webroot 제품이 1위를 차지하였습니다. 작년, 실제로는 재작년에 제가 잠시 사용할 때만 해도 퍼포먼스가 뛰어난 제품이 아니었는데 버전이 업데이트 되면서 엔진의 최적화가 잘 된 것 같습니다.

ESET, AVAST, MSE가 좋은 퍼포먼스를 보여주고 있습니다. MSE의 경우 초기에 시스템 리소스를 많이 사용한다는 평이 많았는데, 최근 버전들어서는 전체적인 퍼포먼스가 괜찮은 것 같습니다.

상반기에 가까스로 최상위 등급에 위치했던 비트디펜더와 카스퍼스키는 상위 등급으로 밀려났습니다. 상대적으로 가벼운 AV 제품군에서는 역시 퍼포먼스에서 밀리는 것 같습니다. 물론 카스퍼스키의 경우 점수상으로는 상당히 상위 입니다. 이 외에 상위 등급에는 F-secure, AVG, PAnda, McAfee, AVIRA 등이 위치하고 있습니다.

하위 등급에는 BullGuardm Fortinet, PCtools, G-DATA 등이 위치하고 있으며, GFI 또한 하위권에 위치하고 있는데, 한때 상당히 가벼운 제품으로 명성이 높았는데, 버전업이 되면서 퍼포먼스를 상당히 떨어트린 것 아쉽습니다. 트렌드 마이크로는 이번 테스트에서는 최저 점수로 하위 등급을 받았습니다.

아래는 최종 점수로 구별된 순위표입니다.

최종 결과 - 점수별 순위


2. 세부 결과

2-1. 참여 제품 및 시스템 정보

참여한 제품의 정보는 아래와 같습니다.

AhnLab V3 Internet Security 8.0

GFI Vipre Internet Security 2012

Avast! Internet Security 7.0

Kaspersky Internet Security 2012

AVG Internet Security 2012

McAfee Internet Security 2012

AVIRA Internet Security 2012

Panda Internet Security 2012

Bitdefender Internet Security 2012

PC Tools Internet Security 2012

ESET Smart Security 5.0

Qihoo 360 Security 3.0

F-Secure Internet Security 2012

Sophos Endpoint Security 10.0

Fortinet FortiClient Lite Premium 4.2

Tencent QQ PC Manager 6.6

G DATA Internet Security 2013

Trend Micro Titanium
 Internet Security 2012

 

Webroot SecureAnywhere Complete 2012


모든 제품들은 설치시 설정된 기본 상태에서 테스트에 임하였습니다.


테스트 환경은 아래와 같습니다.

- CPU : Intel Core i5 750
- RAM : 4GB
- HDD : SATA2
- OS : 윈도우 7 (64bit SP1)

상반기 테스트에 비하면 CPU 성능이 다소 감소(?)했습니다.


2-2. 테스트 항목별 결과

모든 테스트 항목들은 안티 바이러스가 설치되지 않은 상태를 기준으로 얼마만큼의 시간 지연 등이 일어났는가를 측정하여 등급을 매겼습니다. 등급 기준은 각 테스트마다 다릅니다.

테스트 항목은 아래와 같습니다.

• File copying (파일 복사 속도)
• Archiving / Unarchiving (압축 및 압축 해제 속도)
• Encoding / Transcoding (인코딩 및 변환 속도)
• Installing / Uninstalling applications (프로그램 설치 및 제거 속도)
• Launching applications (프로그램 구동 시간 측정)
• Downloading files (파일 다운로드 속도)
• PC Mark 7 Professional Testing Suite (피씨마크 벤치 테스트)

테스트 세부 결과입니다. 막대그래프가 클 수록 좋은 결과를 받은 것입니다.



테스트 세부 결과 및 테스트에 대한 설명은 아래와 같습니다.


(1) File Copyng - 파일 복사 속도 측정



약 5가에 이르는 다양한 포맷들(이미지, 동영상, 문서, 음악, 문서, 시스템 파일 및 압축 파일 등)의 복사 속도를 측정하였습니다. 일반적으로 이 테스트는 실시간 감시 항목과 연계됩니다.

두 가지 항목이 존재하는데, 왼쪽은 최초 복사시 측정한 값이며, 오른쪽 항목은 최초 이동 후 각 제품에서 존재하는 검사 최적화 기능(예 : 카스퍼스키의 Iswift, Icheker 기능) 등으로 인해, 캐쉬 파일이 생성되어 실시간 검사에서 제외되는 파일이 존재할 때 측정한 값입니다.

대부분의 제품이 캐쉬 기능이 존재함을 알 수 있습니다. 이 항목에서 점수가 떨어지는 제품들(GFI, Fotinet)은 캐쉬 기능이나 유사한 기능이 없기 때문에 그렇습니다.


(2) Archiving and Unrchiving - 파일 압축 및 압축 해제 시간 측정



역시 실시간 감시의 퍼포먼스와 연계된 테스트입니다. Fotinet, GFI, TrenMicro는 상당히 속도가 느립니다.


(3) Encoding/TransCoding - 인코딩 및 포맷 변환 시간 측정



HandBreakCLI 프로그램으로 FFMpeg, IPOD 전용 포맷으로의 인코딩 시간을 측정하였습니다. 역시 실시간 감시와 관계가 깊습니다.
(MP3 files to WAV, MP3 to WMA, AVI to MPG and MPG to AVI 변환 시간 측정)


(4) Installing/UnInstalling Applicataions - 프로그램 설치 및 제거 시간 측정



MSI Installer를 사용하여 설치 또는 제거는 프로그램들의 설치 및 제거 시간을 측정하였습니다.


(5) Lunching Applications - 프로그램 구동 속도 측정



구동이 안 된 상태에서 마이크로소프트 오피스와 어도비 아코로뱃 리더를 통해 문서 파일을 열고 닫는 시간을 측정하였습니다. 파일 복사 시간 측정 테스트와 마찬가지로 두 가지 항목이 존재합니다. 상대적으로 용량이 큰 문서 파일을 이용했다고 합니다.


(6) Downloading files from the Internet - 인터넷 다운로드 속도 시간 측정



상반기 테스트와 거의 동일합니다. 작년(1GB bit 전송 속도를 가진 네트워크에서 대용량 파일의 다운로드 속도 측정)과 달리 세부적인 정보가 공개되지 않았습니다.

모든 제품이 'Very Fast' 등급을 획득했다고 합니다. 웹감시 기능도 대부분 기준값 이상되는 용량을 가진 파일은 검사를 제외시키기 때문에 네트워크 속도에는 크게 영향을 주지 않습니다.


(7) PC Mark Test - 전문 벤치 프로그램 테스트



PCMark Vantage라는 전문 벤치마크 프로그램을 통해 CPU, GPU등 다양한 항목의 점수를 측정합니다. 안티 바이러스 미 설치시 나온 결과값을 기준으로 각 안티 바이러스 제품이 설치되었을 때의 점수를 백분율화하여 결과값을 부여하였습니다.


 



트렌드마이크로는 비트디펜더오 더불어 체감과 테스트 결과가 동일한 몇 안되는 제품 중 하나입니다. 언제쯤 퍼포먼스가 개선될런지 궁금합니다.

테스트 상으로는 AVIRA가 은근히 무거운 것도 흥미롭네요. 체감상 더 무겁게 느껴지는 AVG(특히 부팅 딜레이랑 파일 접근시...)보다 점수가 낮은 것이 재밌습니다.


- 이상입니다.

반응형