AV-Comparatives 시스템 퍼포먼스 영향 평가 - Performance Test (Security Suites, 2011)

Av-Comparatives에서 실시한 안티 바이러스의 시스템 퍼포먼스 테스트 결과를 살펴봅니다.

▶ 관련글

- AV-Comparatives 시스템 퍼포먼스 영향 펑가 - Performance Test (2010)
- AntiVirus Performance TEST : Anti-Malware Test Lab - 가볍고 무거운 제품은 무엇일까?

▶ 출처 : http://www.av-comparatives.org/en/comparativesreviews/performance-tests

---

보안 관련 연구 단체인 AV-Comparatives에서 작년에 이어 "Performance Test" 결과를 발표하였습니다.

Performance Test는 안티 바이러스 제품이 사용자 시스템의 성능을 얼마나 감소시키는가를 측정하는 테스트입니다. 보통 안티 바이러스가 '무겁다 가볍다'로 표현되는 부분인데, 성능 감소에 대해서는 주관적인 느낌이 영향을 많이 미치기 때문에 테스트 결과가 사용자의 체감도와 다를 때가 많습니다.

AV-Comparatives에서는 이러한 퍼포먼스 테스트를 1년에 두 차례 나뉘어서 실시합니다. 처음 실시하는 테스트는 이번에 살펴보는 테스트로 'Security Suite' 제품군, 보통 IS(Internet Security) 제품군을 중심으로 하며, 하반기에는 AV(Anti-Virus) 제품군을 기준으로 테스트 합니다.

아쉽게도 최근 들어 보안 업체에서 주력으로 내세우는 올인원(All in One) 형태의 Total 제품군은 테스트되지 않고 있습니다. 

1. 테스트 최종 결과

최종 결과 - 등급별 구분

전체 순위에서 시만텍이 1등을 하였습니다. 그 뒤로 피시마크 벤치 점수가 낮아 2위를 차지한 ESET, 작년 AV 테스트에서 1위를 차지한 k7이 3위를 차지하였습니다.  최종 점수는 아래와 같습니다.

 

2012버전으로 업데이트 되면서 더 가벼워졌다 평가받는 비트디펜더나 판다는 중위권에 머무르고 있습니다. 작년에 비하여 상위권과 중위권의 차이가 많이 줄어들었는데, 그만큼 제품들의 퍼포먼스가 점차 비슷해지는 것을 보여주고 있다고 봅니다.  

2. 세부 결과

2-1. 참여 제품 및 시스템 정보

참여한 제품의 정보는 아래와 같습니다.

avast! Internet Security 6.0	McAfee Internet Security 2011
AVG Internet Security 10.0	Panda Internet Security 2012
AVIRA Premium Security Suite 10.0	PC Tools Internet Security 2011
BitDefender Internet Security 2012	Qihoo 360 2011
ESET Smart Security 4.2	Sophos Endpoint Security 9.7
F-Secure Internet Security 2011	Symantec Norton Internet Security 2012
G DATA Internet Security 2012	Trend Micro Titanium IS 2012
K7 Total Security 11.1	Webroot Internet Security Complete 7.0
Kaspersky Internet Security 2012

모든 제품들은 설치시 설정된 기본 상태에서 테스트에 임하였습니다.


테스트 환경은 아래와 같습니다.

- CPU : Intel Core2 E6400
- RAM : 2GB
- HDD : SATA2
- OS : 윈도우 7 (64bit)
-VGA : NVIDIA GeForce GT 520

작년 테스트에 비해 오히려 CPU 성능이 떨어졌습니다. 개인적으로는 저가형 샌디브릿지라도 사용할 줄 았는데 의외입니다. 하지만 윈도우7, 그것도 64비트를 사용하고 있다는 것은 좋은 시도라고 봅니다.

2-2. 테스트 항목별 결과

모든 테스트 항목들은 안티 바이러스가 설치되지 않은 상태를 기준으로 얼마만큼의 시간 지연 등이 일어났는가를 측정하여 등급을 매겼습니다. 등급 기준은 각 테스트마다 다릅니다.

테스트 항목은 아래와 같습니다.

• File copying (파일 복사 속도)
• Archiving / Unarchiving (압축 및 압축 해제 속도)
• Encoding / Transcoding (인코딩 및 변환 속도)
• Installing / Uninstalling applications (프로그램 설치 및 제거 속도)
• Launching applications (프로그램 구동 시간 측정)
• Downloading files (파일 다운로드 속도)
• PC Mark 7 Professional Testing Suite (피시마크 벤치 테스트)

(1) File Copyng - 파일 복사 속도 측정

---

약 4기가에 이르는 다양한 포맷들(이미지, 동영상, 문서, 음악, 문서, 시스템 파일 및 압축 파일 등)의 복사 속도를 측정하였습니다. 일반적으로 이 테스트는 실시간 감시 항목과 연계됩니다.

두 가지 항목이 존재하는데, 왼쪽은 최초 복사시 측정한 값이며, 오른쪽 항목은 최초 이동 후 각 제품에서 존재하는 검사 최적화 기능(예 : 카스퍼스키의 Iswift, Icheker 기능) 등으로 인해, 캐쉬 파일이 생성되어 실시간 검사에서 제외되는 파일이 존재할 때 측정한 값입니다.

대부분의 제품들이 캐쉬 기능을 갖고 있음을 확인할 수 있습니다. 카스퍼스키와 판다의 경우 실시간 감시 부분은 확실히 개선이 된 것 같습니다.


(2) Archiving and Unrchiving - 파일 압축 및 압축 해제 시간 측정

---

어떤 프로그램과 어떤 포맷으로 압축 또는 압축 해제를 시행하였는지는 밝히지 않고 있습니다.

(3) Encoding/TransCoding - 인코딩 및 포맷 변환 시간 측정

---

HandBreakCLI라는 프로그램으로 FFMpeg, IPOD 전용 포맷으로의 인코딩 시간을 측정하였습니다.

(4) Installing/UnInstalling Applicataions - 프로그램 설치 및 제거 시간 측정

---

MSI Installer를 사용하여 설치 또는 제거는 프로그램들의 설치 및 제거 시간을 측정하였습니다.

(5) Lunching Applications - 프로그램 구동 속도 측정

---

구동이 안 된 상태에서 마이크로소프트 오피스와 어도비 아코로뱃 리더를 통해 문서 파일을 여는 시간을 측정하였습니다. 파일 복사 시간 측정 테스트와 마찬가지로 두 가지 항목이 존재합니다.

(6) Downloading files from the Internet - 인터넷 다운로드 속도 시간 측정

---

작년(1GB bit 전송 속도를 가진 네트워크에서 대용량 파일의 다운로드 속도 측정)과 달리 세부적인 정보가 공개되지 않았습니다.

모든 제품이 'Very Fast' 등급을 획득했다고 합니다. 웹감시 기능도 대부분 기준값 이상되는 용량을 가진 파일은 검사를 제외시키기 때문에 네트워크 속도에는 크게 영향을 주지 않습니다.


(7) PC Mark Test - 전문 벤치 프로그램 테스트

---

PCMark Vantage라는 전문 벤치마크 프로그램을 통해 CPU, GPU등 다양한 항목의 점수를 측정합니다. 안티 바이러스 미 설치시 나온 결과값인 1640을 기준으로 각 안티 바이러스 제품이 설치되었을 때의 점수를 백분율화 하여 결과값을 부여하였습니다.

---

작년에 비해 테스트 세부 정보가 다소 부실합니다. 그 대신이랄까? 작년 IS 테스트의 경우 1위를 판다가 2위를 Norman이 차지하는 등, 개인적인 체감도와 너무 동떨어진 결과를 보여주었는데, 올해 테스트의 경우는 반대로 개인적인 체감도와 절묘하게 맞아 떨어진 것 같습니다.

여담입니다만 요즘 들어 절실히 느끼고 있는 것 하나는, PC 사양이 높을 수록 위 테스트의 결과나 개인 체감도는 의미가 없을 때가 많다는 점입니다. ㅠ-ㅠ

실제로 제품들간의 퍼포먼스 차이가 점점 줄어들기도 해서, 이런 퍼포먼스 테스트의 유용성은 점점 줄어드는 것 같습니다.

개인적으로 가장 많은 사람들이 쉽게 느끼는 웹서핑시 페이지 이동 속도 등의 항목이 있었으면 좋겠는데, 테스트가 어려워서 그런지 추가가 안되는 점이 아쉽습니다.

- 이상입니다.