▶ 보안 제품 테스트 정보/:: 기타 테스트

새롭게 변화된 Matousec 사전 방역 성능 테스트 (2011.12.03)

물여우 2011. 12. 3. 08:30
반응형
64비트 OS 환경에서 처음 시도된 Matousec 테스트 결과를 살펴봅니다.




사전 방역 테스트로 유명한 보안 연구 단체인 Matousec에서 2011년 12월 1일에 새로운 테스트 환경에서 시도된 테스트 결과를 발표하였습니다.

지금까지는 윈도우 XP SP3 32비트 환경에서 148개의 항목을 테스트하였으나, 이제부터는 윈도우 7 SP1 64비트(IE9 사용) 환경에서 110개의 항목을 테스트하게 됩니다. 테스트는 SSTS64(Security Software Testing Suite 64)라는 이름이 붙은 테스트 도구로 진행됩니다. 테스트 항목은 종류는 기존 32비트와 동일하며 아래와 같습니다.

ㆍLeak-test : 방화벽과 HIPS 관련 가장 기본적인 테스트로 아웃바운드 연결을 통한  데이타 누설을 차단할 수 있는 가를 살펴봅니다.
ㆍSpying test : 키로거나 패킷 탈취 프로그램 등의 스파이웨어를 진단할 수 있는 가를 살펴봅니다.
ㆍAutorun test : 설치된(또는 설치되고 있는) 프로그램의 자동 실행(부팅 시) 시도를 차단할 수 있는 가를 살펴봅니다.
ㆍSelf-defense test : 보안 제품의 자기 보호 기능의 성능을 테스트합니다.
ㆍOther : 위 내용 외의 시스템 공격을 차단할 수 있는 가를 살펴봅니다.

테스트 항목들은 난이도에 따라 11단계로 구분어져 있고, 단계별로 정해진 기준 통과율을 넘었을 때에만 보호 레벨 인증을 받습니다.[각주:1]  또한, 테스트되는 보안 제품들은 모든 보안 기능을 활성화하며, 감시 강도를 최고 감시 수준을 유지합니다.

특정 시간에 모든 제품을 한꺼번에 테스트하여, 테스트 결과를 모두 바꾸는 것이 아니라, 몇 몇 제품만 테스트하여 이전 결과에 누적시키는 Matousec의 정책은 그대로 유지되고 있습니다. 12월 1일 당시에 발표된 제품은 아래의 단 4개 제품입니다.  


눈에 띄는 것은 현재 개인적으로 테스트 중인 ESET의 결과입니다. 5버전에서 최초로 HIPS 기능을 추가하였습니다. 상당히 민감한 기능이지만 결과는 좋지 않았습니다. 하지만 HIPS 기능이 없던 이전 테스트의 형편없는 결과에 비하면 상당히 발전된 모습입니다.

아래는 32비트 환경에서 시도된 마지막 테스트 결과입니다.


HIPS 기능 추가로 변화된 ESET의 테스트 결과가 좋아진 것을 확인할 수 있습니다.

한편, Jetico는 32비트 환경에서는 무려 88%의 준수한 점수를 받았지만, 64비트 테스트 환경에서는 59%로 하락한 것을 확인할 수 있습니다. 이는 테스트 항목의 변화나 64비트 환경에서 특정 기능의 호환성이 떨어지기 때문으로 보입니다.[각주:2]

앞으로 속속 새로운 제품들이 추가될 터인데, 어떤 결과들이 나올지 기대가 됩니다. 특히, 2011버전부터 급상승했던 비트디펜더와 항상 1, 2위를 다투는 Comodo, Outpost, 개인적으로 통합형 제품 중 최고라 평가하는 Kaspersky 등의 결과가 기대됩니다.




한 동안 제품들이 새롭게 추가될 것이니 Matousec 결과를 꾸준히 살펴봐야할 것 같습니다.

Matousec의 64비트 테스트 환경 구축은 반가운 일입니다. 램 가격이 매우 낮은 상태라 요즘 들어 램을 다량 시스템에 사용하는 경우가 많기 때문인데, 이 경우 당연히 32비트 환경이 아닌 64비트 환경을 사용할 것이기 때문입니다. 물론, 일반 사용자들도 점차 64비트를 사용하는 분들이 많아지는 것으로 알고 있습니다. 정확한 점유율은 모르겠지만 윈도우7 등장 이후 64비트 사용자가 급증한 것은 확실합니다. 아직 대세라고 하기는 어렵지만 사용자들의 환경 변화에 따른 피드백을 빨리 적용시키는 것은 좋은 일이라고 봅니다.

문제는 아직도 64비트에서 특정 기능이 제대로 동작하지 않거나, 32비트 호환으로 동작하는 제품들이 많다는 점 같습니다. 그런 점에서 32비트 테스트를 병행해주었으면 하지만, 작은 단체이니만큼 힘들어보인다는 점이 아쉽습니다.


- 이상입니다.

  1. 기존에는 10단계였으나 SSPT64부터 11단계로 변화되었고, 단계별 기준치는 50%에서 100%까지 단계별로 서로 다른 기준치를 갖고 있습니다. [본문으로]
  2. 테스트 상으로는 64비트를 지원한다고만 나와 있습니다. [본문으로]
반응형