IPSec ESP: 암호화와 인증의 보안 프로토콜

핵심 정리

IPSec은 IP 패킷을 암호화하고 인증하는 프로토콜이다. IPSec은 네트워크 계층에서 동작하는 보안 프로토콜이며, 데이터 링크 계층에서 동작하지 않는다. IPSec을 구성하는 프로토콜에는 인증 헤더(AH)와 보안 페이로드 캡슐화(ESP)가 있다. 보안 연관(SA)에 사용할 키와 알고리즘은 인터넷 키 교환(IKE)이 협상한다.

ESP는 암호화와 인증 기능을 제공한다. ESP는 IP 패킷에 기밀성, 인증, 무결성을 제공하며 전송 모드와 터널 모드에서 모두 동작할 수 있다. 기밀성은 제3자가 내용을 읽지 못하게 하는 성질이고, 무결성은 전달 도중 내용이 바뀌지 않았음을 확인하는 성질이다.

보안 매개변수 색인(SPI)은 목적지 주소와 함께 SA를 식별하는 매개변수다. 호스트는 보안 연관 매개변수를 보안 연관 데이터베이스(SAD)에 저장해 사용한다. 수신 측은 패킷의 SPI와 목적지 주소를 이용해 SAD에서 해당 연관을 찾고, 그 설정에 따라 패킷을 처리한다.

보안 연관(SA)은 통신하는 두 장비가 사용할 보안 방식과 키를 묶어 둔 단위다. 대칭키 암호는 암호화와 복호화에 같은 키를 사용하고, 공개키 암호는 짝을 이루는 두 키를 사용한다. 이 차이를 알아야 ESP의 방식을 설명할 수 있다.

자세히

암호화 범위

IPsec ESP는 기밀성을 위해 대칭키 암호로 페이로드를 암호화한다. 대칭키 암호는 암호화와 복호화에 같은 키를 사용하므로, 양쪽이 그 키를 공유해야 한다. ESP의 암호화 대상은 필드마다 다르므로 필드별로 구분해 기억해야 한다. 페이로드 데이터는 대표적인 암호화 대상이다. ESP의 패딩은 블록 크기를 맞추고 트래픽 분석을 막기 위해 덧붙이며, 이 패딩도 암호화된다. 트레일러의 Next Header 필드는 페이로드의 종류를 나타내며 암호화 대상에 포함된다.

암호화 범위는 모드에 따라 달라진다. IPsec ESP는 내부 IPv4 패킷 전체를 암호화하고 선택적으로 인증할 수 있다. 전송 모드에서 ESP는 IP 헤더를 암호화하지 않고 IP 페이로드만 암호화한다. 두 모드의 차이는 다음과 같다.

두 모드의 핵심 차이는 IP 헤더를 보호 범위에 포함하는지 여부다. 전송 모드에서는 원래 IP 헤더를 그대로 두고, 터널 모드는 내부 패킷 전체를 감싸며 게이트웨이 사이 통신에 많이 쓰인다. 모드 이름만으로 판단하지 말고 암호화 범위를 기준으로 보면 선지를 구분할 수 있다.

순서 번호와 헤더 필드

ESP의 32비트 순서 번호 필드에는 데이터그램의 순서를 나타내는 카운터 값이 저장된다. IPsec ESP의 시퀀스 번호 필드는 수신자가 중복 패킷을 거부하게 하여 재전송 공격을 방지한다. ESP의 8비트 다음 헤더 필드는 페이로드의 데이터 유형을 나타낸다.

재전송 공격은 가로챈 패킷을 나중에 다시 보내 수신 측을 속이는 공격이며, 순서 번호는 이에 대응하는 수단이다. 순서 번호는 패킷의 순서를 세고 다음 헤더는 내용의 종류를 알리므로, 두 필드의 역할을 바꿔 쓴 선지는 가려낼 수 있다.

구성 요소와 주변 제도

Pretty Good Privacy(PGP)는 IPSec을 구성하는 프로토콜이 아니다. ESP는 IPsec에서 사용하는 프로토콜이므로, ESP 공격은 SSL/TLS 공격 유형이 아니다. MIB는 IPsec의 보안 정책이나 관리 정보를 저장하는 데 사용할 수 있는 자료구조다.