보안 전문가는 아니지만 보안 제품의 선택과 Matousec 테스트에 대해서 의견을 내보고자 합니다.


최근에 방화벽 관련 테스트는 Matousec에서 주관하는 테스트가 많이 참고되는 듯 합니다. 테스트의 세부적인 항목은 상당히 깊은 수준을 요하기 때문에 자세히는 모릅니다만 Matousec에서 실시하는 테스트 항목 대부분은 아웃바운드 연결 제어에 관련된 성능을 테스트하는 것으로서 HIPS라 불리는 호스트 기반 침입방지 기술의 성능에 따라 각 제품들의 방화벽 성능이 결정되는 것으로 보입니다.

Matousec 홈페이지 :  http://www.matousec.com/
Matousec  테스트 결과 페이지 : http://www.matousec.com/projects/firewall-challenge/results.php


Matousec의 테스트 결과



Matousec의 테스트 결과는 제품의 테스트 성적/테스트 단계 도달치/보호 수준 평가/권고사항 등을 제공합니다. 많은 분들이 이 테스트 결과에서 중점적으로 보시는 것은 테스트 결과 점수보호 수준 평가 정도가 될 듯 합니다.

테스트의 세부적인 내용은 사실 일반 사용자에게는 별 관심이 없는 것이기 때문에 수치적인 부분에 집중하는 것은 당연한 일이라 생각합니다만 이 테스트를 올바르게 이해하려면 몇 가지는 확실하게 이해해야 할 듯 합니다.

특히 중요한 부분은 오늘 이야기할 테스트 시에 적용된 보안 제품들의 설정 수준과 HIPS 사용에 관한 것입니다. Matousec에서 방화벽 테스트 항목에 포함된 보안 제품은 방화벽 부분만을 활성화 시킨 상태에서 테스트하는 것이 아닙니다. Matousec에 이에 대한 것을 문의해 본 결과 보안 제품의 모든 설정을 최고 강도로 설정한 상태에서 테스트에 임하고 있습니다.

즉, 파일 실시간 감시 등의 AV 엔진과 HIPS/HIDS 엔진 같은 행동 기반 탐지 엔진 등을 포함한 모든 기능을 활성화 시키고 있습니다. AV 엔진에서 휴리스틱 기능 등이 활성화 된 것은 물론이고 HIPS 기능 또한 해당 제품에서 제공하는최고 강도의 설정으로 사용하고 있습니다. (단, 인터넷 연결 자체를 차단하는 수준은 아닙니다.) 그리고 가장 중요한 점이 하나 있는데 HIPS 기능을 탑재한 제품 중에서 자동모드를 지원하는 제품들도 자동모드가 아닌 수동모드에서 테스트 되고 있다는 점입니다.

최고 감시 강도의 설정과 수동 모드에서 테스트가 이루어 진다는 점은 다음과 같은 것을 의미한다고 생각합니다.

1. 각 보안 제품이 제공하는 기본옵션이 아니기 때문에 대다수의 일반 사용자가 사용하는 설정과는 
   차이가 크다는 것
2. 최고 강도 감시 기능은 사용자에게 많은 판단을 요구한다는것 (오진 판단, HIPS 탐지 판단 등)
    - 사용자에 따라 잘못된 판단이 가능


 
다른 보안 기능을 제외하고 HIPS 기능에 대해서만 언급을 해보겠습니다.

예를 들어, 코모도 경우 방화벽 부분만이 아니라 Defense+ 등의 기능이 모두 최고 감시강도로 설정되어 있으며,  PCtools나 카스퍼스키, 노턴 같은 제품은 모두 수동 모드에서 테스트가 진행되고 있습니다. 정확하게는 코모도의 D+의 최고 난이도인 Paranoid mode와 방화벽의 Custom Policy mode를 이용하여 테스트 한다는 것이며 카스퍼스키 경우 Interative mode 에서 Application Filtering과 방화벽을 사용하게 되는 것입니다. 노턴도 자동모드를 해제하고 HIDS 기능 등을 모두 활성화 시킨 상태입니다.

이러한 점을 고려해 보면 Matousec 방화벽 테스트는 일반 사용자들의 시스템 환경과는 다소 동떨어진 보안 수준에서 테스트가 진행되고 있음을 알 수 있습니다. 즉 일반 사용자들의 설정으로 테스트를 진행하면 위와 같은 결과치에 변동이 크다는 것입니다. 2008.11.28과 30일 테스트를 비교해보면 이러한 점이 명백하게 들어납니다. 코모도의 보안 설정에 따라 테스트 결과 바뀌는 것을 볼 수 있습니다.
(http://cafe.naver.com/malzero/26249 , http://cafe.naver.com/malzero/26437 )

따라서 개인적으로는 Matousec는 그 제품의 성능 수준에 대한 판단에 참고할 수는 있지만 사용자가 해당 제품을 사용하기위한 기본 자료로 보기에는 많은 고려가 필요하다고 생각합니다.

Matousec 테스트 조건과 비슷한 설정으로 보안수준을 선택하는 사용자가 없는 것은 아니겠지만, 그 수가 전체 사용자와 비교해 볼 때 그리 많은 수가 되지는 않을 것이라 생각되며. 그러한 보안 수준을 제대로 다룰만한 사용자는 더더욱 적을 것이라 생각합니다. 

PC 보안의 수준을 높이기 위해서는 최고 강도 설정이 필요한 것은 당연하고 능력이 된다면 높은 설정값을 선택하는게 좋은 것은 당연합니다만, 대다수의 일반 사용자에게 이러한 설정을 적용하는 것은 불가능하다고 생각합니다. 아직까지 보안 제품의 성능과 사용 편의성은 서로 반비례 관계에 있다는 것이 저의 생각입니다.

물론, 저 또한 방화벽 기능은 비교적 높은 보안 수준에서 자동 모드보다는 수동모드를 통해 관리합니다. 그러나 저의 경우 기본적인 보안 수칙을  지키고 있으며, 비교적 사용하는 프로그램도 적을 뿐더러, 대부분 정상적인 경로로 구입하거나, 무료 라이센스를 이용하고 있습니다. 그리고 제 PC는 혼자서 사용하는 PC라는 점도 무시 못할 부분입니다. 따라서 위와 같은 설정을 사용해도 제가 처리해야할 부분이 상당히 적습니다. 


HIPS 기능이 만능으로 보이지만 최고 설정을 선택한다고 해도 현재의 기술력으로는 취약점이 존재하고, HTTPS 같은 암호화 프로토콜을 사용하지 않는 이상 보안 제품의 성능과 설정에 관계없이 외부에서 패킷을 훔치는 등의 외부의 공격에는 대처할 수 없습니다.

HIPS 기능 등을 포함해서 각종 기능으로 사용자 PC를 보호하고자 해서 얻는 방어 수준과 그에 따른 사용자의 사용 노력 부분을 저울질 해보면, 아직까지 사용자의 노력에 들어가는 비용이 더 크지 않나 생각합니다.

결론적으로 Matousec 테스트를 참고는 하되, 그것을 보안 제품 선택의 절대적인 기준으로 삼아서는 안 될 것이라 생각합니다. 이는 Matousec 보다 더 크고 권위도 있는 다른 국제적인 테스트도 마찬가지입니다.

보안 제품의 선택에 있어 자신의 컴퓨터 사용 목적과 사용 환경을 고려한, 포괄적인 선택 기준을 가지고 임하였으면 하는 바램입니다.


- 이상입니다.
저작자 표시 비영리 변경 금지
신고
Posted by 물여우

댓글을 달아 주세요

  1. 시큐리티맨 2009.01.28 22:57 신고  댓글주소  수정/삭제  댓글쓰기

    Matousec은 테스터들이 전문가가 아닌 보안관련 전공 대학생들입니다 그 중에 일부 실력있는 해커가 포함된 정도이니 전문성이 떨어질 수 밖에 없죠
    어디까지나 아마추어 테스트에 속합니다 물여우님이 언급하신 국제적인 테스트들 (예를 들면 VB100) 도 헛점이 존재하는데 아마추어 테스트는 오죽할까요

    • Favicon of http://arrestlove.tistory.com BlogIcon 물여우 2009.01.29 12:41 신고  댓글주소  수정/삭제

      방문해 주셔서 감사합니다. ^^
      최근에 겨우 1차 권고 사항(?)을 완성한 AMSTO의 테스트 가이드 라인을 따라 테스트를 시행한다고 해도 각 제품의 장단점을 모두 표현하기에는 부족할 것이다라는 말씀들이 많더군요. 결국 이러한 테스트들은 참고 자료일 뿐인데 이것 하나에 매달리는 분들이 많은 것 같습니다.

      다른 테스트들도 많은데 Matousec에 대해서만 특별히 다룬 이유가 있습니다. 최근들어 HIPS 기능이 개인사용자들 사이에서도 악성코드의 사전방역기능으로서 주목 받게 되면서 이를 탑재된 방화벽에 대한 여러 블로그나 여러 커뮤니티의 게시글에서 언급되어졌는데, 대부분 AV 제품과 같은 위치를 가진, 개념 혹은 제품으로 언급하는 경우가 많더군요. 사실 방화벽 제품에서 HIPS는 부가적인 기능의 하나인데, HIPS만이 전적으로 부각되면서 악성코드 탐지 도구로서 방화벽이 인식되었던 것 같습니다. 개인적으로는 여기서 일반 사용자들이 생각하는 제품과 실제 제품간의 차이가 생겨났지 않았나 생각해 보았습니다. 그리고 이러한 이러한 차이를 만들고 부각시키는데 일조한게 matousec의 테스트 결과였다 생각했습니다. 그래서 부족하나마 위의 글을 남겨봤네요.

      써놓고 보니 꼭 무슨 전문가 마냥 써서 스스로 쓴웃음이 납니다만 ^^;;

  2. Favicon of http://blog.naver.com/hahaj1 BlogIcon 역지사지 2009.02.05 22:25 신고  댓글주소  수정/삭제  댓글쓰기

    Matousec 테스트뿐만 아니라 AV 제품 테스트도 절대적으로 신봉해서는 곤란하겠죠. 특히 방화벽 제품은 AV 제품보다 사용자의 입맛에 따라 설정을 더 조정해야 할 부분이 많은 것 같습니다. 개인적으로도 방화벽 제품의 모든 기능을 사용하지 않고 있지요. 가장 큰 이유는 위험한 일을 별로 하지 않는다는 것과, 귀찮음 때문인 것 같습니다.
    부가적으로 Matousec의 테스트에 대해서 별로 좋은 평가를 하지 않는 분들도 있는 것 같은데요, 방화벽에 대해서 장기간 많은 제품을 다룬 경우도 드문 것 같습니다. 개인적으로는 Matousec의 테스트 결과를 좋아합니다.^^

    • Favicon of http://arrestlove.tistory.com BlogIcon 물여우 2009.02.06 08:25 신고  댓글주소  수정/삭제

      위에 분도 지적해주셨지만 Matousec 단체의 모든 사람이 전문가는 아닌가봅니다. 최근에 테스트와 관련되어 카스퍼스키와 에프시큐어, 맥아피의 기능에 관해 몇 가지 질문을 해봤는데 해당 기능이 뭔지도 잘 모르더라구요.. 그냥 해당 기능이 무엇인지 모르지만 테스트시 모든 옵션은 다 활성화 시키며 해당 테스트 프로세스의 네트워크 연결를 차단만 하면 된다고 답변하더군요. 테스트에 쓰이는 테스트 프로그램들은 실제로 쓰일 수 방법이라고는 합니다만 개인적으로는 Matousec가 생각하는 것 만큼 전문적인 사람들로 구성된 것이 아닌 것 같아 조금 실망을 했네요.

      그나저나 과거에는 XP방화벽도 테스트를 했었는데, 아웃바운드를 체크할 수 있는 비스타 방화벽은 왜 테스트를 안하는지 모르겠습니다. 테스트 해봤자 보통 통합제품 수준인 10% 내외의 성적을 보일 것 같긴 합니다만
      비슷한 점수를 보이는 보안 업체들의 로비라도 있을까요 :)
      제 생각에는 그 정도 테스트 점수가 hips 없는 방화벽의 정상적인 점수가 아닐까 하네요.

    • Favicon of http://blog.naver.com/hahaj1 BlogIcon 역지사지 2009.02.06 23:29 신고  댓글주소  수정/삭제

      네,, 그렇군요.
      사실 외국에서도 Matousec의 테스트를 시간 낭비라고 하는 견해도 있더군요.
      아무튼 전문적인 보안 업체 입장에서 보면 다른 공신력있는 기관과 동등하게 보기 어려울 수 있고, 테스트 결과에 따라 업체마다 평가가 다를 것 같습니다.

      참.. 비스타는 잘 모르겠지만, 얼마전에 잠시 사용했던 Windows 7에서는 내장 방화벽과 노턴360 영문판의 방화벽 둘 다 동시에 인식이 되더군요.^^ 같이 사용해도 될 정도로 호환성이 개선된 것일지도 모르겠다는 생각이 들더군요.

    • Favicon of http://arrestlove.tistory.com BlogIcon 물여우 2009.02.07 02:29 신고  댓글주소  수정/삭제

      오.. 노턴 설치시에 윈도 방화벽을 해지 안시키나 보군요.
      윈도7 요즘 들리는 말로는 비스타와 달리 인기를 끌 os로 보입니다만 너무 빨리 나오는 것 아닌가 하네요. 아직 xp에서 바꿔야할 만한 특별한 이유가 없어보이는데 말이죠.




티스토리 툴바