AV-Comparatives 시스템 퍼포먼스 영향 평가 - Performance Test (2010)

Av-Comparatives에서 실시한 안티 바이러스에 의한 시스템 퍼포먼스 감소를 비교한 테스트를 살펴봅니다.

▶ 관련글

- AV-comparatives : Summary Report 2009 (종합 보고서)
- AntiVirus Performance TEST : Anti-Malware Test Lab - 가볍고 무거운 제품은 무엇일까?

▶ 출처 : Performance Test Anti-Virus (By AV-Comparatives)

---

보안 관련 연구 단체인 AV-Comparatives에서 실시하는 보조 테스트 중 하나인 "Performance Test" 결과가 발표되었습니다.

Performance는 일반적으로 "성능"으로 번역되는데, 안티 바이러스 제품에 대해서 쓰일 때에는 시스템 리소스 사용율과 프로그램 실행 시간 증가 등 다양한 분야에서 나타나는 컴퓨터 시스템의 성능 감소를 의미합니다.

쉽게 말해 안티 바이러스가 무겁거나 가벼우냐를 의미하는 것인데, 퍼포먼스가 좋다는 것은 안티 바이러스가 가볍다는 뜻으로, 퍼포먼스가 나쁘다는 것은 무겁다는 뜻으로 생각하시면 됩니다.

퍼포먼스는 단순히 시스템의 성능 감소 여부를 의미할 뿐, 악성코드 진단율에는 영향이 없는 항목입니다. 일반적으로 안티 바이러스의 성능이 좋다고 할 때에는 진단율의 높고 오진율이 적다는 것을 의미할 때가 많습니다. 따라서 Performance 테스트와 일반적인 성능 테스트는 다른 항목을 테스트 한 것입니다.

최근 들어 동일한 시스템 보호 성능을 보이면서 시스템 성능 감소를 최소 한도로 줄이는 것이 큰 이슈인 만큼, 안티 바이러스 퍼포먼스는 상당히 중요한 항목이 되었습니다. 

문제는 각종 벤치 테스트의 결과가 실제 사용자가 느끼는 것과 동떨어질 때가 많다는 것인데, 이는 아래에서 이야기해보도록 하겠습니다.

참고로 이번 테스트는 안티 바이러스 제품군을 테스트했습니다. 이보다 상위 제품군인 시큐리티 제품군의 결과(8월)를 보고싶으시면 여기를 참고 바랍니다. 안티 바이러스 제품군과는 다른 퍼포먼스를 보이는 제품들이 다소 존재합니다.

1. 테스트 종합 결과

테스트 최종 결과 - 등급 분류

테스트 최종 결과 - 순위 분류 및 점수표

인도에 기반하고 있는 안티 바이러스인 K7이 전체 순위에서 1등을 하였습니다. 프로그램 설치 및 제거를 제외하고 다른 부분에서 모두 만점을 받았으며 벤치마크에서도 뛰어난 점수를 받았습니다.

어베스트, 노턴, 에프시큐어, AVG, AVIRA, 판다 등이 뒤를 이었습니다. 의외로 ESET은 퍼포먼스가 낮게 나온 것을 확인할 수 있습니다. 가벼운 제품으로 유명했던 ESET이 3.0부터 버전업이 될 때마다 무거워지는 경향이 보이는 것 같습니다.

ESET 뒤에는 G-data와 카스퍼스키, 비트디펜더, 트렌드 마이크로등이 존재하며 PCTools는 최저의 퍼포먼스를 보이며 최하위에 머물렀습니다.

2. 세부 결과

2-1. 참여 제품 및 시스템 정보

참여한 제품의 정보는 아래와 같습니다.

AVAST Free 5.0	KingSoft Antivirus 2011
AVG Anti-virus 2011	McAfee VirusScan Plus 2011
AVIRA Antivir Premium 10.0	Microsoft Security Essentials 1.0
Bitdefender Antivirus 2011	Norman Antivirus & Anti-Spyware 8.0
Escan Antivirus 1.0	Panda Antivirus Pro 2011
ESET NOD32b Antivirus 4.2	PCtools Spyware Doctor with AV 8.0
F-secure Anti-virus 2011	Sophos Anti-virus 9.5
G DATA Antivirus 2011	Symantec Norton Antivirus 2011
K7 TotalSecurity 10	Trend Micro Titanium Antivirus 2011
Kaspersky Anti-virus 2011	TrustPort Antivirus 2011

모든 제품들은 설치시 설정된 기본 상태에서 테스트에 임하였습니다.


테스트 환경은 아래와 같습니다.

- CPU : Intel Core2 E8300
- RAM : 2GB
- HDD : SATA2
- OS : 윈도우 7 (32bit),

안티 바이러스 제품이 그래픽 카드의 GPU 프로세스를 이용하는 기법 등이 이슈가 된지 꽤 되었는데, 아직 제대로 지원하는 제품이 없어서인지  그래픽 카드에 대한 항목은 나와있지 않습니다.

하드디스크 조각 모음 완료등 테스트에 영향을 미치는 외부 요인 등은 가급적 제외하였다고 밝히고 있습니다.

2-2 테스트 항목별 결과

모든 테스트 항목들은 안티 바이러스가 설치되지 않은 상태를 기준으로 얼마만큼의 시간 지연 등이 일어났는가를 측정하여 등급을 매겼습니다. 등급 기준은 각 테스트마다 다릅니다.


(1) File Copyng - 파일 복사 속도 측정

---

약 3기가에 이르는 다양한 포맷들(이미지, 동영상, 문서, 음악, 문서, 시스템 파일 및 압축 파일 등)의 복사 속도를 측정하였습니다.

두 가지 항목이 존재하는데, 왼쪽은 최초 복사시 측정한 값이며, 오른쪽 항목은 최초 이동 후 각 제품에서 존재하는 검사 최적화 기능(예 : 카스퍼스키의 Iswift, Icheker 기능) 등으로 인해, 캐쉬 파일이 생성되어 실시간 검사에서 제외되는 파일이 존재할 때 측정한 값입니다.

파일 복사 속도 측정

(2) Archiving and Unrchiving - 파일 압축 및 압축 해제 시간 측정

---

어떤 프로그램과 포맷으로 압축 또는 압축 해제를 시행하였는지는 밝히지 않고 있습니다.

압축 및 압축 해제 시간 측정

(3) Encoding/TransCoding - 인코딩 및 포맷 변환 시간 측정

---

HandBreakCLI라는 프로그램으로 FFMpeg, IPOD 전용 포맷으로의 인코딩 시간을 측정하였습니다.

인코딩/변환 시간 측정

외국 테스트라 그런지 IPOD 관련 포맷이 등장합니다.


(4) Installing/UnInstalling Applicataions - 프로그램 설치 및 제거 시간 측정

---

MSI Installer를 사용하여 설치 또는 제거는 프로그램들의 설치 및 제거 시간을 측정하였습니다.

프로그램 설치 및 제거 시간 측정

(5) Lunching Applications - 프로그램 구동 속도 측정

---

구동이 안되어 있는 상태에서 마이크로 소프트 오피스와 어도비 아코로뱃 리더를 통해 문서 파일을 여는 시간을 측정하였습니다. 파일 복사 시간 측정 테스트와 마찬가지로 두 가지 항목이 존재합니다.

(6) Downloading files from the Internet - 인터넷 다운로드 속도 시간 측정

---

일부 문제가 발생하는 제품을 제외하고 1GB bit 전송 속도를 가진 네트워크에서 대용량 파일의 다운로드 속도를 측정하였습니다.

이는 일반적인 웹서핑 속도와는 차이가 있습니다. 특히, 안티버의 웹가드 같은 기능이 존재하는 제품의 경우 해당 테스트 결과와 달리 웹서핑에서는 딜레이가 존재할 수 있습니다.

인터넷 다운로드 속도 측정

(7) PC Mark Test - 전문 벤치 프로그램 테스트

---

PCMark Vantage라는 전문 벤치마크 프로그램을 통해 CPU, GPU등 다양한 항목의 점수를 측정합니다. 안티 바이러스 미 설치시 나온 결과값인 3843를 기준으로 각 안티 바이러스 제품이 설치되었을 때의 점수를 백분율화 하여 결과값을 부여하였습니다.

벤치 결과 총합

아래는 벤치 결과 중 세부 항목들의 점수입니다.

---

진단율 테스트도 비슷한 문제가 존재하지만 퍼포먼스는 사용자에 따라 체감도가 무척 다른 부분이 아닐까 합니다.

예전 글에서도 밝혔지만 개인적으로 이러한 퍼포먼스 테스트, 특히 등급을 나누어 가볍고 무거운 제품을 구분하는 테스트의 경우 신뢰도가 떨어진다 생각합니다. 테스트가 잘못되었다는 뜻이 아니라 다양한 환경을 갖춘 실제 사용자 환경과 맞지 않는 경우가 많으며, 사용자마다 중요하게 여기는 항목들이 달라 실제 체감되는 결과가 위에 나타는 등급과 다른 경우가 태반이기 때문입니다. 

또한 각 제품의 기본 설정값등이 모두 달라 공정한 테스트가 되지 못하는 경우도 존재합니다.

예를 들어 AV-Comparatives는 일부 안티 바이러스의 특성상 관련 모듈의 로딩이 늦게 이루어지는 문제로 인해 부팅 시간 측정을 하지 않고 있습니다. 구형 시스템에서 이루어진 테스트 결과에서는 소포스와 AVG만 부팅 시 로딩되는 악성코드를 진단하였고 다른 제품들은 시스템 부팅이 끝난 후(즉, 악성코드가 이미 로딩된 후에) 진단이 되었다고 합니다. 즉, 내부 설정값에 따라 부팅 시간의 감소 효과를 볼 수 있는 반면, 악성코드 진단 능력이 차이가 나기 때문에 공정한 테스트라 할 수 없어 테스트 항목을 제외한 것입니다.

안티버의 웹가드나 카스퍼스키의 웹트래픽 검사같은 기능을 가진 제품의 경우 인터넷 다운로드 속도 측정과 달리, 특정 사이트 접속시 상당한 딜레이가 발생할 수 있습니다. 이러한 웹서핑 딜레이는 검사 방식에 따른 항목으로 사이트별로 발생 빈도가 다르기 때문에 정확한 측정을 하기가 힘든 항목입니다. 

또한, 인터넷 시큐리티 제품군에 한정되는 경우지만, 카스퍼스키의 경우 HIPS 특유의 항목인 "계층화" 설정을 위해 어플리케이션 설치나 초기 실행시 분석 시간이 존재합니다. 분석 시간 동안에는 시스템에 상당한 퍼포먼스 감소를 가져오며, 어플리케이션 구동 시간이 대폭 증가됩니다. 따라서 특정 제품의 경우 위 테스트에서 사용된 오피스나 Aobe 제품처럼 잘 알려진 제품의 경우 이러한 딜레이가 없지만, 특정 어플의 경우 테스트 결과값과 달리 큰 딜레이가 존재할 수 있습니다.

마지막으로 업데이트나 수동 검사 시에 나타나는 시스템 리소스의 급격한 사용과 딜레이 발생 등도 사용자들이 지적하는 불만 중 하나입니다.

특정 상황이나 설정에서 나타나는 부팅 시간이나 웹서핑 딜레이, 어플리케션 구동 딜레이등은 그 특별함 때문에 이러한 벤치 테스트에서는 잘 나타나지 않는 경우이나 저같은 경우처럼 이를 매우 중요하게 여기는 사용자도 많습니다.

퍼포먼스 테스트를 비롯하여 안티 바이러스에 관한 모든 또는 특정 테스트의 결과를 맹신하지 말고, 제품을 평가하는 절대적인 "기초 자료"가 아니라 "참고 자료"의 하나로써 생각하는 것이 필요합니다.


마지막으로 메모리나 CPU 사용율 및 시스템 캐쉬  사용 등 하드웨어적인 리소스 사용율의 측정값이 없다는 것이 아쉽습니다. 아무래도 데스크탑의 경우 이러한 하드웨어적 요소를 측정할 필요가 없을 정도로 고성능화되어서가 아닐까 예상되긴 하는데, 저사양의 제품을 사용하는 사용자에게는 여전히 중요한 항목이기 때문입니다.


- 이상입니다.