[PCSL] Total Protection Test - 보호 성능 종합 테스트 7월 결과 (2010)



시그니처 진단율과 동적 진단율 테스트를 함께 진행하는 PCSL의 종합 보호 성능 테스트 결과를 살펴봅니다.

▶ 관련글

- PCSL Total Protection malware Test 7월 결과 (2009)

▶ 출처 : PCSL Total Protection Test (2010 July Report)

---

중국에 위치하고 있는 소규모 보안 연구 단체인 PCSL은 매년 보안 제품 성능 테스트를 진행합니다. 이번에 소개할 Totla Protection Test는 2010년 7월달에 시행된 테스트로 8월에 결과가 발표되었습니다.

PCSL 테스트를 살펴보는 이유는 수동 검사(Static Detection)와 행동 기반 진단 기능을 포함시킨 실시간 동작 감시 검사(Dinamic Detection)를 함께 진행하기 때문이며, 소규모 보안 연구 단체지만 오진율 테스트를 시행하여 최종 결과에 포함시키기 때문입니다.

또한, 지리적으로나 환경적으로나 유럽, 북미에 비해 상대적으로 국내와 비슷한 환경인 중국내에서 많은 수의 샘플을 수집하고 있는 테스트로 VB100, AV-test, AV-Comparatives 등과는 다른 결과를 확인할 수 있기 때문입니다.

테스트에 사용되는 샘플의 수가 적고 지역적 특색이 있다는 점이 단점이지만, 결과는 상당히 재밌습니다.

1. 테스트 최종 결과

자세한 것은 아래에서 다루겠지만, 기본적으로 진단율에 오진을 뺀 결과를 최종 점수로 표현합니다.

최고 높은 최종 점수를 받은 제품은 Bitdefender이고 오진율을 제외한 상태에서 가장 높은 진단 점수를 받은 제품은 Panda입니다.

등급은 별 5개부터 3개까지 부여되며, 점수가 저조한 경우 별이 부여되지 않습니다.

최고 등급인 별 5개의 제품에는 대부분의 유명 제품들이 포함되어 있습니다. 역시 중국내에서 테스트한 것인 만큼, 중국 제품인 Jiangmin, Rising 등의 선전이 눈에 띕니다. 최고 점수를 받은 비트디펜더 외에 카스퍼스키와 AVG, Panda 등도 높은 점수를 받았습니다. 

비트디펜더와 어베스트의 듀얼 엔진을 사용하는 G-data는 비트디펜더보다도 점수가 낮은데, 이유는 오진으로 인한 감점 때문입니다. AVG와 비트디펜더 조합의 Trustport도 비슷한 이유로 AVG보다 점수가 낮습니다.

흥미로운 결과 중 하나는 안티버의 결과입니다. 최근 단일 엔진 중에서 Panda와 더불어 막강한 진단율을 보여주는 Avira가 진단율도 상대적으로 떨어지지만 코모도, VIPRE, 심지어 라이징 같은 제품에게까지 최종 점수가 떨어진다는 사실입니다. 최종 점수의 낮음은 오진으로 인한 감점이 크기 때문이지만, 낮은 진단율(물론 상위 제품과 근소한 차이지만)도 영향을 미치고 있습니다.

또, Emisoft는 가까스로 별 다섯개를 받았지만, 이카루스와 Emisoft 엔진을 사용하는 Tall Emu(온라인 아머)등은 별 4개를 받았습니다. 역시 높은 진단율에도 오진이 많아 나타난 결과입니다.

DR.web과 중국 제품인 Kingsoft는 별 3개를 받았습니다. 킹소프트는 태생이 안티 바이러스 업체가 아니기 때문인지는 몰라도 여러 테스트에서 성적이 좋지 않은 것 같습니다.

Antiy(중국), ArcaBit(폴란드), NETGATE(슬로바키아), Zillya(우크라이나) 등은 점수가 저조하여 등급을 받지 못하였습니다.

2. 테스트 세부 정보 및 결과

2-1. 테스트 방법

소규모 단체임에도 불구하고, 테스트는 상당히 짜임새있게 구성되어 있습니다.

(1) 샘플 분류

---

테스트 샘플은 2010년 5월부터 6월까지 수집된 샘플이며, 자체적으로 수집한 것과 보안 업체의 도움을 받아 수집된 샘플들이 혼합되어 있습니다.

샘플 분류는 다음과 같이 되었습니다.

먼저 진단율 테스트용 샘플을 유포의 규모(또는 범위)에 따라 4개의 세트로 나누고, 오진 테스트용 샘플 또한 수동 검사용과 실시간 동작 감시용을 따로 구성합니다. 이를 정리하면 아래와 같습니다.

진단 테스트용 샘플 분류		샘플 수	가중치
Set 1	Very High Prevalence (매우 높은 수준의 유행)	500개	52.6
Set 2	High Prevalence (높은 수준의 유행)	500개	25.3
Set 3	Medium Prevalence (중간 수준의 유행)	500개	16.3
Set 4	Low Prevalence (낮은 수준의 유행)	500개	5.8
합계		2000개	100

오진 테스트용 샘플 분류		샘플 수	가중치
Set a	수동 검사용 샘플	알 수 없음	0.1
Set b	실시간 동작 감시용 샘플	30개	0.1

(2) 테스트 수행 방법 및 점수 산술식

---

진단율 테스트는 수동 검사와 실시간 동작 감시 테스트로 이루어져 있습니다.

먼저 각 세트마다 수동 검사를 진행합니다.

두 번째로 수동 검사(Static Test)가 끝난 후 진단되지 못한 샘플은 직접 실행시켜 행동 기반 기능을 포함한 실시간 감시 기능(dynamic Test)에서 실행 또는 동작을 차단하는지를 검사합니다.

이후 오진율 테스트를 실시하여, 수동 검사와 실시간 동작 감시 테스트에서 나타난 오진을 검사합니다.

수동 검사와 실시간 동작 감시 테스트에서 모두 진단된 샘플 수를 각 세트마다 기록합니다. 테스트가 끝나면 각 세트별 가중치에 따라 진단된 샘플 수와 가중치를 곱합니다. 진단율 테스트 점수는 합산을 오진율 테스트 점수는 감산을 실시하여 최종 점수를 만들어냅니다. 

정리하면 아래와 같습니다.

결과적으로 세트 1과 2가 최종 점수에 가장 큰 영향을 미치고 있는 것을 확인할 수 있습니다. 오진은 그 수가 적어지면 동일 점수대에서 순위를 가르는 요인 정도로 볼 수 있겠지만, 그 수가 많아지면 최종 점수에 가장 큰 영향을 줄 수 있는 핵심 요소가 될 수 있습니다.

2-2. 테스트 참여 제품 및 환경

테스트에 참여한 제품은 아래와 같습니다. 작년 중반에 시행된 테스트라 다소 구 버전으로 테스트되었습니다.

제품 정보
Antiy GHOSTBUSTER	McAfee Total Security
ArcaBit System Protection	eScan Internet Security Suite
AVG Internet Security 9.0	Microsoft Security Essentials
AVIRA Antivir Premium Security Suite 9.0	Spy Emergency
BitDefender Total Security 2010	Panda Internet Security 2010
COMODO Internet Security	Quick Heal AntiVirus 2010
Dr.WEB ANTI-VIRUS 6.0	Rising Antivirus 2010
Emsisoft Anti Malware 5.0	SOPHOS Anti-Virus 9.5
ESET Smart Security 4	VIPRE Antivirus
Twister Anti-TrojanVirus V7 (Filseclab)	Norton Internet Security
F-Secure Internet Security 2010	Online Armor (Tall Emu)
G DATA Internet Security 2011	Trend Micro Internet Security 2010
IKARUS Virus Utilities	TrustPort PC Security 2010
KV Antivirus 2010 (Jiangmin)	Vba32 Anti-virus
Kaspersky Internet Security 2011	Zillya! Antivirus
Kingsoft Internet Security 2011

 

 

테스트는 윈도우즈 XP SP3 환경에서 진행되었습니다.
 
제품 설정에 대한 세부적인 내용은 없지만 네트워크가 연결된 상태에서 진행된 것으로 보아, 클라우드 기술을 이용하는 기능들을 사용할 수 있었던 것으로 보입니다. 이전 테스트에서는 제품들의 검사 강도가 최고 강도로 지정되어 있었습니다.

 

2-3. 세부 결과

테스트는 각 세트별로 점수가 공개되어 있고, 오진 테스트 결과는 최종 결과에 함께 나와 있습니다.

(1) Set 1(Very High Prevalence)

---

가장 넓게 유포된 악성코드들로 구성된 Set 1에서는 AVG와 Avira, Bitdefender, F-secure, G-Data, Kaspersky, Panda 등이 모든 샘플을 진단하였습니다.

역시 유포가 많이 이루어진 샘플들이기 때문인지 대부분의 상위권 제품들이 시그니처 진단을 통해 대부분의 샘플을 진단하였습니다. 그러나 코모도의 경우 시그니처 진단은 상대적으로 떨어지고, HIPS 기능으로 많은 수를 차단한 것을 확인할 수 있습니다.


(2) Set 2 (High Prevalence)

---

두 번째 세트부터 이카루스 엔진을 사용하는 제품들의 성적이 올라가기 시작합니다. 특히 이카루스와 자체 엔진의 듀얼 형태를 띄는 Emisoft와 Emisoft엔진을 사용하는 온라인 아머가 한 개의 샘플만 진단하지 못하여 1위를 차지하게 됩니다. 단일 엔진으로서는 유일하게 Panda가 공동 1위를 합니다.

비트디펜더와 카스퍼스키가 상위권을 유지하고 있는 가운데 AVG와 Avira는 중위권으로 밀려났습니다.


(3) Set 3 (Medium Prevalence)

---

Emisoft는 자체엔진이 두 개의 샘플을 더 잡고, 행동 기반 진단 기능에서 5개의 샘플을 추가로 진단하여 1위를 차지하고있습니다.

(4) Set 4(Low Prevalence)

---

마지막 세트에서는 상위권과 중위권 사이에 큰 차이가 없습니다. 가중치도 적어서 실제 테스트 결과에는 큰 영향을 미치지 못하는 항목입니다.

코모도의 경우 4개의 세트에서 모두 시그니처 진단은 상대적으로 떨어지지만 강력한 HIPS 기능으로 추가 진단이 가능하여 중위권을 간신히 유지하고 있음을 알수 있습니다.

ESET이나 AVIRA 등은 중위권에서 계속 머무릅니다. 일반적인 진단율 테스트와 사전 방역(의심 진단) 테스트에서 좋은 점수를 받는 제품들인데 진단율이 상대적으로 떨어지고 있습니다.


(5) 최종 결과

---

아래는 최종 결과입니다. 오진율 세트가 포함되어 있습니다.

앞서 언급한 것처럼 비트디펜더와 카스퍼스키, AVG가 최종 점수에서 높은 점수를 받았습니다.

진단 점수들이 높은 Panda, Emisoft, Ikarus, Tall Emu 등은 모두 오진으로 인해 감점을 많이 받았습니다. 안티버는 진단율이 중위권에 머물렀고, 오진으로 인한 감점이 꽤 있어 상위권에 있지 못하였습니다. 코모도도  시그니처 진단의 결과가 좋지 않았는데, HIPS에서도 진단하지 못하는 경우가 있어 중위권에 머물렀습니다.

재밌는 점은 진단율 측면에서 지앙민이 선전을 하긴 했지만, 라이징이나 킹소프트같은 제품들은 상대적으로 외국 제품에 비해 진단율이 떨어지게 특정되었다는 점입니다. 중국에서 실시한 테스트이고 샘플 또한 중국에서 수집된 것들이 많은 것으로 예상되는데(다른 테스트의 경우 중국 지역에서 수집된 샘플로만 테스트하기도 합니다.), 샘플이 좀 제한적이긴 해도 중국산 제품들이 외산 제품보다 떨어지는 성능을 보여주는 것은 왠지 과거 국내 보안 제품과 외국 보안 제품간의 성능 논란이 있던 시절의 모습을 보는 것 같습니다.

마지막으로 테스트에는 우크라이나나 폴란드 같은 업체의 제품도 포함되었는데, 국내 제품이 없다는 점이 다소 아쉽습니다. 중국에는 안랩 등의 국내 제품들도 진출한 것으로 아는데, 왜 테스트하지 않았는지 의문입니다.

---

작년 자료보다 테스트가 좀 더 정교하게 개선된 것 같습니다. 그러나 여전히 테스트 샘플 수가 너무 적은 것이 아쉽습니다. 누적 샘플 수가 많아지면, 동일한 행동을 하는 변종 악성코드들이 차지하는 비율이 올라가는 문제가 있긴 하지만, 샘플 수가 작다보니 사실 상위권과 중위권의 진단율의 차이가 그리 크지는 않아 실질적으로 별 의미가 없기 때문입니다. 

그러나 앞서 언급한 것처럼 우리 나라와 연관성이 조금이라도 있는 옆나라 중국에서 실시한 테스트라는 점이 매력있는 자료라 생각합니다.


- 이상입니다.