적대적 공격

적대적 공격이란

적대적 공격은 입력에 사람이 알아채기 어려운 미세한 교란을 더해 딥러닝 모델을 오분류시키는 공격이다.

이렇게 만든 입력을 적대적 예제라고 한다. 사람의 판단은 바뀌지 않으나 모델의 출력은 달라진다.

적대적 예제는 사람에게는 정상으로 보이면서 모델에게만 잘못 판단되는 입력이다.

정식 정의

원래 입력 x에 교란 δ를 더한 x'가 있다고 하자.

사람의 판단은 바뀌지 않으나 모델 출력은 f(x') ≠ f(x)가 된다. 이 x'가 적대적 예제다.

교란의 크기는 노름 상한 ε 이하로 제한한다. 이미지에서는 L∞ 노름이 흔히 쓰인다.

그래디언트 기반 생성 흐름

그래디언트 기반 원리는 손실 함수를 입력에 대해 미분한 값을 이용한다.

손실을 키우는 방향으로 입력을 조금씩 움직이면 오분류가 생긴다.

FGSM은 한 번 갱신하고, PGD는 이 갱신을 여러 번 반복한다. 매 단계 결과를 ε 범위로 투영한다.

계산 예: 픽셀 한 칸

원본 픽셀 값이 120이고 그래디언트 부호가 +1이며 ε가 4라고 하자.

교란을 더하면 x'는 120 + 4 × 1 = 124가 된다.

픽셀 값은 0~255 범위 안에 있어 결과가 상식 범위 안이다. 사람 눈에는 거의 드러나지 않는 크기다.

White-box와 Black-box 비교

앞 문제의 답은 116이다. 가장 기본적인 구분은 공격자가 아는 모델 정보의 양이다.

White-box는 그래디언트로 교란 방향을 직접 정하므로 적은 연산으로 강한 예제를 만든다.

Black-box는 같은 목표를 간접 경로로 달성하므로 질의 비용과 전이 성공률이 성능을 좌우한다.

방어 기법과 한계

방어는 단일 기법이 아니라 입력 정제, 적대적 훈련, 모델 검증을 묶은 다층 구조로 쓴다.

적대적 훈련은 교란 예제를 학습 데이터에 섞어 모델이 교란에 강해지게 한다.

Defense GAN은 GAN 생성기로 입력을 재구성해 교란을 제거한 뒤 분류한다.

다만 정제 단계를 우회하는 적응형 공격이 보고되어 단일 방어만으로는 충분하지 않다.

정리

정리하자. 적대적 예제는 사람에게는 정상이지만 모델은 오분류하는 입력이다.

White-box는 모델 내부를 알고, Black-box는 입력과 출력만 안다.

채점에서는 공격 유형별 접근 권한 차이를 먼저 본다. 방어는 원리와 장단점을 짝지어 쓴다.