AV-Comparatives 시스템 퍼포먼스 영향 평가 - Performance Test (Security Suites, 2012)

Av-Comparatives에서 실시한 보안 제품들의 시스템 퍼포먼스 테스트 결과를 살펴봅니다.

▶ 관련 글

- AV-comparatives : Summary Report 2011 (종합 보고서)

▶ 출처 : http://www.av-comparatives.org

---

보안 관련 연구 단체인 AV-Comparatives에서 상반기 "Performance Test" 결과를 발표하였습니다.

Performance Test는 안티 바이러스 제품이 사용자 시스템의 성능을 얼마나 감소시키는가를 측정하는 테스트입니다. 보통 안티 바이러스가 '무겁다 가볍다'로 표현되는 부분인데, 성능 감소에 대해서는 PC 사양과 사용자의 주관적인 느낌이 영향을 많이 미치기 때문에 테스트 결과가 사용자의 체감도와 다를 때가 많습니다.

AV-Comparatives에서는 이러한 퍼포먼스 테스트를 1년에 두 차례 나뉘어서 실시합니다. 처음 실시하는 테스트는 이번에 살펴보는 테스트로 'Security Suite' 제품군, 보통 IS(Internet Security) 제품군을 중심으로 하며, 하반기에는 AV(Anti-Virus) 제품군을 기준으로 테스트 합니다.

이번 테스트는 하반기 인터넷 시큐리티 제품군이 사용되었으며, 이들 제품은 주로 방화벽과 HIPS(일부 제품에서) 및 사용자 계정 관리(자녀 보호 기능)을 비롯한 기타 부가 기능들이 포함되어 있습니다. 유일하게 Webrrot 제품만이 최상위 제품군인 토탈 제품군을 사용하고 있습니다.

참고로 안랩이 메인 테스트(진단율 테스트)에 참여하고 있는 가운데, 이번 퍼포먼스 테스트에도 참여를 하였습니다.

1. 테스트 최종 결과

최종 결과 - 등급별 구분

먼저 Webroot 제품이 1위를 차지하였습니다. 이전 테스트까지만 하더라도 퍼포먼스가 좋은 제품이 절대 아니었으나 버전이 바뀌면서, 가장 무겁다 할 수 있는 최상위 제품군을 테스트에 참여시켰음에도 1위를 차지하였습니다. 대단한 발전이라 생각합니다.

그리고 그 뒤를 이어 AVAST와 ESET, AVIRA 등이 좋은 퍼포먼스를 보여주었습니다. 개인적으로 어베스트 IS 제품군은 평균정도 되는 퍼포먼스를 보인다 느꼈었는데 꽤 의외의 결과를 받았습니다.

비트디펜더와 카스퍼스키는 가까스로 최상위 등급에 위치하였습니다. 유의미한 수준차는 아니지만 비트디펜더가 카스퍼스키 제품과 AVG 제품 보다도 좋은 점수를 받았다는 것이 놀랍습니다. 처음 퍼포먼스 테스트에 참여하는 Tencent 제품도 비교적 좋은 퍼포먼스를 보이고 있습니다. 

기대를 모았던 안랩은 상위권에 머물렀습니다. 사실 V3 lite와 IS 8.0 버전을 서비스하면서 내세운 강점이 가볍고 빠르다는 점인데, 비트디펜더나 카스퍼스키처럼 비교적 중량감이 느껴지는 제품에게 퍼포먼스 테스트에서 뒤쳐졌다는 점은 문제가 있다고 봅니다. 이전 AV-TEST의 결과를 참고해봐도 다른 제품들과 비교했을 때 안랩의 퍼포먼스가 좋은 편은 아닌 것 같습니다.

최근 리뷰한 트렌드 마이크로도 그리 좋은 퍼포먼스를 보이지는 못하였습니다. 하위 등급(실제로는 중위권)는 Fortinet과 PCtools가 받았습니다.

아래는 최종 점수로 구별된 순위표입니다.

최종 결과 - 점수별 순위

2. 세부 결과

2-1. 참여 제품 및 시스템 정보

참여한 제품의 정보는 아래와 같습니다.

AhnLab V3 Internet Security 8.0	GFI Vipre Internet Security 2012
Avast! Internet Security 7.0	Kaspersky Internet Security 2012
AVG Internet Security 2012	McAfee Internet Security 2012
AVIRA Internet Security 2012	Panda Internet Security 2012
Bitdefender Internet Security 2012	PC Tools Internet Security 2012
ESET Smart Security 5.0	Qihoo 360 Security 3.0
F-Secure Internet Security 2012	Sophos Endpoint Security 10.0
Fortinet FortiClient Lite Premium 4.2	Tencent QQ PC Manager 6.6
G DATA Internet Security 2013	Trend Micro Titanium  Internet Security 2012
	Webroot SecureAnywhere Complete 2012

모든 제품들은 설치시 설정된 기본 상태에서 테스트에 임하였습니다.


테스트 환경은 아래와 같습니다.

- CPU : Intel Core i7 920
- RAM : 4GB
- HDD : SATA2
- OS : 윈도우 7 (64bit SP1)

지난 하반기 테스트에 이어 하드웨어 성능이 또 다시 상승했습니다. 비록 1세대 i7 CPU이지만 고사양에 속하는 CPU를 사용하고 있어 비교적 무난한 사양의 시스템 환경을 사용하던 이전 테스트보다 고사양 환경에서 테스트가 진행되었다 볼 수 있겠습니다.

2-2. 테스트 항목별 결과

모든 테스트 항목들은 안티 바이러스가 설치되지 않은 상태를 기준으로 얼마만큼의 시간 지연 등이 일어났는가를 측정하여 등급을 매겼습니다. 등급 기준은 각 테스트마다 다릅니다.

테스트 항목은 아래와 같습니다.

• File copying (파일 복사 속도)
• Archiving / Unarchiving (압축 및 압축 해제 속도)
• Encoding / Transcoding (인코딩 및 변환 속도)
• Installing / Uninstalling applications (프로그램 설치 및 제거 속도)
• Launching applications (프로그램 구동 시간 측정)
• Downloading files (파일 다운로드 속도)
• PC Mark 7 Professional Testing Suite (피시마크 벤치 테스트)

테스트 세부 결과 및 테스트에 대한 설명은 아래와 같습니다.


(1) File Copyng - 파일 복사 속도 측정

---

약 4기가에 이르는 다양한 포맷들(이미지, 동영상, 문서, 음악, 문서, 시스템 파일 및 압축 파일 등)의 복사 속도를 측정하였습니다. 일반적으로 이 테스트는 실시간 감시 항목과 연계됩니다.

두 가지 항목이 존재하는데, 왼쪽은 최초 복사시 측정한 값이며, 오른쪽 항목은 최초 이동 후 각 제품에서 존재하는 검사 최적화 기능(예 : 카스퍼스키의 Iswift, Icheker 기능) 등으로 인해, 캐쉬 파일이 생성되어 실시간 검사에서 제외되는 파일이 존재할 때 측정한 값입니다.

대부분의 제품이 캐쉬 기능이 존재함을 알 수 있습니다. 맥아피와 피시 툴즈가 떨어지는 부분이 Trustport 등 무겁게 평가되는 제품들은 캐쉬 기능이 미비하거나 거의 없어서 체감상 무겁게 느껴지는 것을 확인할 수 있습니다.


(2) Archiving and Unrchiving - 파일 압축 및 압축 해제 시간 측정

---

역시 실시간 감시의 퍼포먼스와 연계된 테스트입니다. 비트디펜더와 Trustport, Pctools는 매우 속도가 느림을 알 수 있습니다. 실시간 감시 엔진의 최적화가 필요하다고 봅니다.


(3) Encoding/TransCoding - 인코딩 및 포맷 변환 시간 측정

---

HandBreakCLI 프로그램으로 FFMpeg, IPOD 전용 포맷으로의 인코딩 시간을 측정하였습니다. 역시 실시간 감시와 관계가 깊습니다.
(MP3 files to WAV, MP3 to WMA, AVI to MPG and MPG to AVI 변환 시간 측정)


(4) Installing/UnInstalling Applicataions - 프로그램 설치 및 제거 시간 측정

---

MSI Installer를 사용하여 설치 또는 제거는 프로그램들의 설치 및 제거 시간을 측정하였습니다.


(5) Lunching Applications - 프로그램 구동 속도 측정

---

구동이 안 된 상태에서 마이크로소프트 오피스와 어도비 아코로뱃 리더를 통해 문서 파일을 열고 닫는 시간을 측정하였습니다. 파일 복사 시간 측정 테스트와 마찬가지로 두 가지 항목이 존재합니다. 상대적으로 용량이 큰 문서 파일을 이용했다고 합니다.


(6) Downloading files from the Internet - 인터넷 다운로드 속도 시간 측정

---

상반기 테스트와 거의 동일합니다. 작년(1GB bit 전송 속도를 가진 네트워크에서 대용량 파일의 다운로드 속도 측정)과 달리 세부적인 정보가 공개되지 않았습니다.

모든 제품이 'Very Fast' 등급을 획득했다고 합니다. 웹감시 기능도 대부분 기준값 이상되는 용량을 가진 파일은 검사를 제외시키기 때문에 네트워크 속도에는 크게 영향을 주지 않습니다.


(7) PC Mark Test - 전문 벤치 프로그램 테스트

---

PCMark Vantage라는 전문 벤치마크 프로그램을 통해 CPU, GPU등 다양한 항목의 점수를 측정합니다. 안티 바이러스 미 설치시 나온 결과값을 기준으로 각 안티 바이러스 제품이 설치되었을 때의 점수를 백분율화하여 결과값을 부여하였습니다.

 

---

체감상 느낀 점과 테스트 결과가 다른 제품들은 역시 PC 사양에 따른 차이가 아닐까 싶습니다. 고사양 혹은 멀티 코어 CPU를 제대로 사용하는 제품일수록 고사양 PC와 저사양 PC에서의 체감도 차이가 매우 크리라 생각합니다.

개인적으로 보안 제품들의 퍼포먼스는 점점 상향 평준화되고 있다 생각합니다. 최상위권과 최하위권 제품을 제외하면 전반적으로 퍼포먼스 결과는 크게 차이 안 나고 있으며, 최상위 등급에 절반 이상의 제품이 몰려있기도 합니다. 하지만 특정 항목에 대해서는 아직 편차가 크기 때문에 제품 선택시 이를 중점적으로 살펴봐야 하겠습니다.


- 이상입니다.