Matousec 사전 방역 성능 테스트 (2009.06.11)

아마추어 보안 연구 단체인 Matousec의 사전 방역 성능 테스트 결과입니다.

저는 보안 전문가가 아니며 해당 프로그램에 대하여 전문적이고 기술적인 지식을 지니고
이 글을 작성하는 것이 아니므로 이 글에 오류가 있을 수 있음을 밝힙니다.


Matousec는 대학생들을 중심으로 보안에 관심있는 아마추어들이 모여 만든 보안 연구 단체입니다. 주로 클라이언트단의 사용자 PC와 네트워크 연결과 관련된 보안 항목을 중점적으로 다룬다고 합니다. 쉽게 말해 방화벽과 연관된 보안 사안을 연구합니다. 최근에는 방화벽 제품에 대한 성능 테스트 때문에 더욱 높은 수준의 PC 보안을 원하는 사용자들이 관심이 많이 가지는 연구 단체이기도 합니다. 

애초에 Matousec에서 행하던 방화벽 테스트는 외부에서의 시도되는 침입 기술이 아닌 사용자 시스템 내부에서 방화벽의 필터링을 뚫고 외부에 정보를 전달할 수 있는 아웃바운드 연결을 얼마나 잘 차단하느냐를 테스트하였습니다. 방화벽 자체만으로는 모든 내부 공격을 차단할 수 없기 때문에 결과적으로는 HIPS 즉, 호스트 침입 방지 기술과 방화벽의 성능을 함께 측정하였다고 보시면 됩니다.
(참고로 방화벽 기능외에 nIPS(네트워크 침입 방지 기능)가 존재하는 제품도 있지만 기본적으로 패킷을 필터링하는 방화벽의
 성능은 대부분의 보안 제품에 큰 차이가 없다고 합니다.)

그러나 최근 들어서는 점차 HIPS와 관련된 항목이 테스트 상에서 매우 중요해지면서, 테스트의 이름을 Proactive Security Challenge로 바꾸었습니다. 테스트의 개념이 확장되면서 HIPS와 관련된 기능들이 원래 쓰였지만 기존 테스트는 기본적으로 방화벽에 국한되어 있었기 때문에 참가할 수 없었던 던 피시툴즈의 Threafire 같은 제품들이 참여할 수 있게 되었습니다. 따라서 방화벽 기능이 없는 제품이라고해도 시스템 내부의 취약점이나 여러 악용되는 방법들을 통해 외부와 연결을 시도하는 방법들을 차단할 수 있는 지 여부를 테스트를 통해 참고할 수 있게 되었습니다.

물론, Matousec의 사전 방역 테스트는 일반 사용자들이 알기 쉽게 정보가 공유되는 유일한 테스트이긴 하지만, 기본적으로 아마추어 단체이다보니 테스트에 쓰이는 기술과 테스트의 진행 과정 및 결과 도출에 대한 논란도 있긴 합니다. 테스트 상에서 높은 점수를 받는다고 해서 실제 사용자 환경에서 그러한 결과가 도출되는 것은 아닙니다.

이에 대해서는 이전에 작성한 글이 있습니다. 한번 참고해 보시기 바랍니다. :)

▶ 참고 

-  2009/01/28 - 보안 제품의 선택과 Matousec의 방화벽 테스트에 대한 개인적인 생각

따라서 다른 여타 유명한 보안 제품 테스트와 마찬가지로 유용한 참고 테스트로서 바롸봐야지 테스트 성적에 대해서 너무 맹신할 필요는 없습니다. 


현재 테스트 결과는 6월 11일자에 공개된 것이 최신입니다. 테스트 환경은 윈도우 XP SP3와 IE8이며, 보안 제품의 AV 엔진, HIPS를 비롯한 행동기반 탐지 기능 및 방화벽 등 모든 기능을 최고 강도로 설정하고 사용자 처리(수동 모드)하에서 테스트가 진행되었습니다.

Matousec는 기본적으로 동일한 기간에 전 제품을 테스트하는 것이 아니라, 기간별로 몇 개의 제품씩만 새롭게 테스트를 진행하여 기존 테스트 결과에 반영합니다. 즉, 테스트 결과가 점차 누적되는 스타일입니다. 따라서 제품들의 버전이 최신 버전이 아닐 때가 많습니다. 이 부분은 Matousec의 단점이라고 보입니다.

최근에는 테스트 항목 수가 늘어나서, 새롭게 테스트를 받은 제품과, 예전 테스트 결과를 가진 제품 사이에 테스트를 따로 나타내고 있습니다. 테스트 결과에서 이를 같이 표현할 수 도 있고 따로 표현할 수 도 있는데, 여기서는 따로 표현하도록 하겠습니다.

테스트 결과 출처 : http://www.matousec.com/projects/proactive-security-challenge/results.php

기본적으로 Free가 붙어 있는 제품은 개인 사용자가 무료로 사용할 수 있는 제품입니다.

이번 결과에서 의미가 있는 정보 중 하나가 최근에 새로 나온 Outpost 무료 제품이 유료 제품군과 비교하여 시스템 침입 방지 기능이 거의 비슷한 수준이라는 것이라 생각합니다.

유료 제품과 1%의 테스트 통과율의 차이와 테스트 레벨 도달치가 차이나는 것은 버전차이로 보입니다. 현재 유료 제품과의 버전이 조금씩 차이가 나게 무료 제품을 제공하는 것 같은데, 빌드 버전의 차이이기때문에 실제로는 큰 차이가 없다고 보시면 됩니다.  유료 제품에서 빠진 기능이 많지만 고유의 방화벽 기능과 HIPS가 포함되어 있어서 일반 사용자가 사용하기에는 큰 문제가 없다고 생각합니다.

온라인 아머, 코모도, 피시툴즈 등 무료 방화벽 제품과 함께 매우 유용하게 사용할 수 있는 제품이 아닐까 합니다.


개인적으로 에프시큐어는 여전히 2008 버전이 테스트에 사용된 것 같은데 딥가드가 강화된 2009와 아직 베타지만 2009보다 더욱 딥가드가 강화된 2010 버전의 결과가 어떻게 나올지 기대됩니다. 또 카스퍼스키 2010 버전도 HIPS에 변화가 있는데 어떤 결과가 나올지 궁금해집니다.


- 이상입니다.