적대적 공격

왜 배우는가: 적대적 공격은 입력에 사람이 알아채기 어려운 미세한 교란을 더해 딥러닝 모델을 오분류시키는 위협이며, 자율주행·안면인식·의료 영상 등 안전이 걸린 시스템에서 실제 문제가 된다. 기술사 시험에서는 공격 유형, 방어 기법, 자율주행 사례를 묶어 반복해서 묻는다.

출제 이력: 제131회 3교시 1번, 제119회 2교시 3번

1. 한 줄 정의와 핵심 키워드

적대적 공격은 사람은 알아볼 수 없는 미세한 교란을 입력에 더해 딥러닝 모델의 판단을 틀리게 만드는 공격이다.

• 적대적 예제(Adversarial Example)
• 교란(Perturbation)
• 오분류(Misclassification)
• 화이트박스 공격(White-box Attack)
• 블랙박스 공격(Black-box Attack)
• 적대적 훈련(Adversarial Training)
• Defense GAN

2. 개념 풀이

쉽게 말하면, 고양이 사진에 사람 눈에는 보이지 않는 얼룩 같은 잡음을 살짝 넣었더니 모델이 그 사진을 개나 자동차로 판단하는 현상이다. 공격자는 모델이 틀리도록 설계된 입력을 만든다. 이렇게 만든 입력을 적대적 예제라고 한다.

정식 정의는 다음과 같다. 원래 입력 x에 교란 \delta를 더한 x' = x + \delta가 있을 때, 사람의 판단은 바뀌지 않으나 모델 f의 출력은 f(x') \neq f(x)가 되도록 하는 입력 x'이 적대적 예제다. 교란의 크기는 보통 \|\delta\|_p \le \epsilon의 제약으로 제한한다.

교란(Perturbation)은 원래 입력에 더해지는 작은 변화량이다. 이미지에서는 픽셀 값의 미세한 변화로 나타난다. 오분류(Misclassification)는 모델이 입력을 잘못된 클래스로 분류하는 결과다. 적대적 공격의 목표가 바로 이 오분류를 유도하는 것이다.

화이트박스 공격(White-box Attack)은 공격자가 모델 구조와 파라미터, 그래디언트를 모두 아는 상황의 공격이다. 블랙박스 공격(Black-box Attack)은 모델 내부를 모르고 입력과 출력만 아는 상황의 공격이다. 두 개념은 3절과 6절에서 다시 비교한다.

적대적 예제의 핵심은 사람에게는 정상으로 보이면서 모델에게만 잘못 판단되는 입력이라는 점이다.

3. 등장 배경과 필요성

딥러닝 모델은 이미지 인식, 음성 인식, 자연어 처리 등에서 사람 수준의 성능을 보이면서 산업 현장에 빠르게 도입됐다. 그런데 연구에서 학습 데이터와 다른 입력에 대한 모델의 취약성이 보고됐다. 이때부터 모델의 성능 지표와 별개로 견고성(Robustness)을 따로 확보해야 한다는 인식이 생겼다.

필요성은 적용 분야의 안전 요구에서 나온다. 자율주행차가 교통표지판을 잘못 읽으면 속도 제한을 놓쳐 사고로 이어질 수 있다. 얼굴 인식 출입 통제가 우회되면 보안 사고가 된다. 의료 영상 판독에서 오진이 생기면 환자 피해로 연결된다. 따라서 정확도가 높다는 것만으로는 충분하지 않고, 악의적 교란에 대한 내성까지 설계 기준에 넣어야 한다.

최근에는 AI 기반 공격 도구가 늘면서 위협이 커지고 있다. 2026년 국내 보도에 따르면 AI가 취약점을 찾는 속도가 빨라져 방어 측의 패치 속도가 중요해졌다고 한다. 적대적 공격은 이런 흐름에서 모델 자체를 겨냥하는 공격 축으로 함께 다뤄진다.

화이트박스 공격 가정은 모델 파라미터 전체를 공격자가 알 때 성립한다. 이 전제가 공격 설계의 출발점이다.

{"type":"flow","title":"적대적 예제 생성 흐름","tip":"4줄 흐름으로 그리고 교란 제약을 반드시 쓴다","nodes":[{"id":"a","label":"원본 입력 x","sub":"정상 데이터"},{"id":"b","label":"교란 δ 계산","sub":"그래디언트 등"},{"id":"c","label":"x' = x + δ","sub":"적대적 예제"},{"id":"d","label":"모델 오분류","sub":"f(x') ≠ f(x)"}],"edges":[{"from":"a","to":"b","label":"입력"},{"from":"b","to":"c","label":"합성"},{"from":"c","to":"d","label":"입력"}]}

4. 구성요소·원리·절차

적대적 공격은 입력 데이터에 사람이 식별하기 어려운 미세한 교란을 더해 모델의 예측을 바꾸는 공격이다. 공격 흐름은 모델 정보 획득 수준, 교란 생성 방식, 모델에 가하는 입력 순서로 나뉜다. 적대적 예제는 원본 입력 x에 교란 δ를 더한 입력 x' = x + δ로 표현한다. 여기서 δ는 노름(norm) 제약 ||δ||ₚ ≤ ε 안에서 정해진다.

교란의 크기는 노름으로 제한한다. 이미지 분야에서는 픽셀별 최대 변화량을 묶는 L∞ 노름이 흔히 쓰인다. 노름 제약이 작을수록 사람 눈에는 원본과 같아 보인다. 반면 모델 입장에서는 결정 경계를 넘을 수 있는 방향을 찾는 것이 핵심이다.

그래디언트 기반 원리는 손실 함수 J(θ, x, y)를 입력 x에 대해 미분한 값을 이용한다. 손실을 키우는 방향으로 입력을 조금씩 움직이면 오분류가 생긴다. FGSM은 한 번의 갱신으로 교란을 만든다.

$x' = x + \epsilon \cdot \mathrm{sign}(\nabla_x J(\theta, x, y))$

여기서 θ는 모델 파라미터, y는 정답 레이블, ε는 교란 크기, sign은 부호 함수다. PGD는 이 갱신을 여러 번 반복하고, 매 단계 결과를 ε 범위 안으로 투영(projection)한다.

적대적 예제 제작 절차는 다음과 같다.

• 공격 대상 모델과 입력 샘플, 정답 레이블을 확보한다.
• 공격 방식(White-box, Black-box)에 따라 그래디언트 또는 대체 모델을 준비한다.
• 손실 함수를 정하고 교란 δ를 초기화한다. 무작위 시작점을 쓰는 경우가 많다.
• 그래디언트를 계산해 손실을 키우는 방향으로 δ를 갱신한다.
• 매 단계 δ를 노름 제약 안으로 투영하고, 모델 예측이 바뀌었는지 확인한다.
• 성공하면 x'를 저장하고, 실패하면 반복 횟수나 ε를 조정한다.

이 과정은 다음 도식으로 보인다.

이 절차에서 실무 점검 포인트는 다음 두 가지다. 교란 크기 ε는 공격 성공률과 사람 인지 가능성 사이의 균형점이다. 반복 횟수는 성공률을 올리지만 질의 비용과 계산 시간을 늘린다.

적대적 예제는 노름 제약 안의 교란으로 모델의 결정 경계를 넘는 입력이다

5. 관련 법령·기준·표준

적대적 공격을 직접 규율하는 국내 법령이나 고시는 확인된 것이 없다. 따라서 이 절에서는 인공지능 안전성과 보안을 다루는 기준의 큰 틀과, 공격 기법을 설명하는 데 쓰는 기준 이름만 정리한다. 조문 번호는 확인되지 않은 것을 쓰지 않는다.

표의 노름 기준은 학계와 벤치마크에서 널리 쓰는 표현이다. 실무 기준서가 특정 ε 값을 강제하는 경우는 드물어, 프로젝트별로 위험 평가에 따라 정한다.

이미지 분류 실험에서 교란 상한은 노름 기준으로 설정한다. 교란 크기는 픽셀 값 범위 0~255에 맞춰 표현한다. 다만 교란 상한은 연구마다 달라서 특정 기준으로 고정하지 않는다.

관련 국내 제도로는 인공지능 안전성 확보를 위한 정부 지침과 보안 관제 체계가 논의되고 있다. 구체 조항과 시행 시기는 이 절에서 단정하지 않는다. 최근 공공 보고에서는 과학기술정보통신부가 AI 사이버위협 대응 체계를 강화하는 방향을 밝혔다.

6. 유형과 비교

적대적 공격은 공격자가 알고 있는 정보의 양과 공격 목표에 따라 나뉜다. 가장 기본적인 구분은 모델 정보 접근 수준이며, 여기에 회피(evasion)와 중독(poisoning) 같은 단계별 구분이 더해진다. 아래 표는 White-box 공격과 Black-box 공격을 공격자 지식, 생성 방식, 대표 기법 측면에서 비교한 것이다.