침입탐지와 침입방지

핵심 정리

침입탐지와 침입방지는 시스템과 네트워크에 대한 불법 접근을 알아내고 막는 보안 기능이다. 침입탐지 시스템(IDS)은 악의적인 흐름을 감시해 알려 주는 장치이고, 침입방지 시스템(IPS)은 탐지한 유해 트래픽을 자동으로 차단하는 장치다. 이 개념을 가를 때는 무엇을 감시하는지, 어떤 기준으로 판단하는지, 차단 기능이 있는지를 순서대로 확인해야 한다.

IDS는 네트워크 기반과 호스트 기반 침입탐지시스템으로 분류할 수 있다. 네트워크 기반 침입탐지는 네트워크 트래픽을 수집·정제·분석해 공격을 탐지한다. 호스트 기반 침입탐지는 호스트에서 실행 중인 시스템과 응용 프로그램의 로그를 이용해 공격을 탐지한다. 감시 대상이 패킷인지 호스트 내부 기록인지에 따라 탐지 지점이 달라진다는 점이 출발점이다.

침입탐지 유형은 비정상행위 탐지와 오용 탐지 등으로 구분된다. 두 방식은 공격을 무엇과 비교하느냐가 다르고, 그 차이가 알려지지 않은 공격에 대한 대응력을 가른다. 판단 기준이 알려진 공격 패턴이면 오용 탐지이고, 정상 행위의 기준에서 벗어난 것을 찾으면 비정상 탐지다. 이 구분을 먼저 잡아 두면 선지에서 방식을 바꿔 치는 함정을 피할 수 있다.

차단 기능은 두 장치를 가르는 기준이다. IDS는 악의적인 트래픽을 탐지해 알려 주기만 하고, 공격을 직접 차단하는 것은 방화벽이다. 차단까지 맡는 장비로는 침입 방지 장비인 IPS가 있으며, 방화벽과 IDS의 기능을 결합해 트래픽을 모니터링하고 유해 트래픽을 실시간으로 차단한다.

탐지 결과의 정확도도 함께 봐야 한다. 실제 공격임에도 이를 탐지하지 못하는 오류를 False Negative라고 한다. IDS 설계 시 침입자의 행동을 엄격하게 정의할수록 공격 탐지의 부정오류(False Negative)가 증가한다. 탐지 범위를 좁게 정하면 정상 트래픽은 덜 걸러지는 대신 실제 공격을 놓칠 가능성이 커진다는 뜻이다.

금융 분야에서는 접속·거래·단말기 정보를 분석해 이상금융거래를 탐지·차단하는 시스템이 따로 쓰인다. 이 시스템은 FDS라고 부르며, 침입 탐지와 같은 '이상 판단'의 개념을 거래 영역에 적용한 예로 익혀 둔다.

자세히

비정상 탐지의 기준과 오탐

비정상 탐지는 수집된 정보로부터 생성한 프로파일이나 통계적 임계치를 이용한다. 기준선은 네트워크 트래픽 부하, 프로토콜, 일반적인 패킷 크기처럼 정상 상태를 보여 주는 요소를 시스템 관리자가 정해 두는 방식으로 잡힌다. 비정상 기반 침입탐지는 정상 행위 모델을 만들어 두고 이에서 벗어난 행위를 비정상으로 판단한다. 이때 대상이 되는 것은 상대적으로 급격한 변화나 발생 확률이 낮은 행위를 찾는 데 맞춘다. 정상적이고 평균적인 상태를 크게 벗어나는 이벤트가 발생하는 것을 탐지하는 방법이다.

장점과 단점은 함께 나온다. 비정상행위 탐지는 알려지지 않은 공격을 탐지하는 데 효과적이지만 오탐(False Positive)이 많아질 수 있다. 정상 행위를 미리 예측하기 어렵다는 약점이 오탐의 원인이 된다. 반면 알려지지 않은 제로데이 공격은 알려진 패턴을 찾는 오용 탐지보다 정상 기준 이탈을 보는 이상 탐지로 잡는 데 유리하다. 이상 탐지는 정상 사용자 행동 패턴을 기준으로 통계적으로 공격을 탐지하며 호스트 기반과 네트워크 기반에 모두 적용할 수 있다.

오용 탐지와 신종 공격의 한계

오용 탐지는 알려진 공격 패턴과 비교하므로 새로운 공격을 탐지하기 어렵다. 오용 탐지는 알려진 공격 패턴을 저장해 두고 이와 일치하는지 탐지하는 방법이다. 공격 시그니처 데이터베이스와 트래픽을 비교하는 구조이므로 탐지 범위는 데이터베이스에 등록된 공격으로 한정된다. 오용 탐지는 알려진 공격 행위의 실행 절차와 특징 정보를 이용하여 침입 여부를 판단한다.

오용 탐지 기법은 시그니처 기반 탐지 또는 지식 기반 탐지라고도 불린다. 시그니처 기반 침입탐지는 저장된 공격 패턴과 비교하므로 알려진 공격만 탐지하고 신종·변형 공격에는 약하다. 다만 알려진 공격과 특징을 공유하는 변형은 일부 잡힐 수 있으므로 전혀 못 잡는다고 단정하지 않고 '약하다'로 정리한다.