딥페이크

왜 배우는가: 딥페이크는 실제 인물을 흉내 낸 영상과 음성으로 사기·명예훼손·허위정보 문제를 일으키므로 실무에서 탐지와 대응이 필요하다. 시험에서도 기술 개념, 문제점, 대응방안을 묶어 반복해서 묻는 주제다.

출제 이력: 제135회 3교시 6번, 제133회 1교시 10번

1. 한 줄 정의와 핵심 키워드

답안 첫 줄 정의: 딥페이크는 딥러닝으로 실제 인물의 얼굴·음성·영상을 합성하거나 바꿔 진짜처럼 보이게 만든 합성 미디어이다.

핵심 키워드는 다음과 같다.

• 딥러닝(Deep Learning): 다층 신경망이 데이터의 특징을 스스로 학습하는 방법이다.
• 생성적 적대 신경망(GAN): 생성기와 판별기가 서로 겨루며 사실적인 결과물을 만드는 구조이다.
• 오토인코더(Autoencoder): 입력을 압축했다가 복원하며 얼굴의 특징을 익히는 신경망이다.
• 얼굴 교체(Face Swap): 원본 영상 속 얼굴을 다른 사람의 얼굴로 바꾸는 기법이다.
• 음성 합성(TTS·VC): 문장을 소리로 바꾸는 TTS와 목소리를 바꾸는 음성 변환 VC를 함께 이른다.
• 합성 미디어(Synthetic Media): 인공지능으로 만든 영상·음성·이미지 전체를 가리킨다.
• 진위 판별: 콘텐츠가 합성됐는지 탐지하고 원본 여부를 가리는 기술과 절차이다.

2. 개념 풀이

쉬운 말로 풀면 딥페이크는 컴퓨터가 사람 얼굴을 학습해서 다른 영상 속 인물 자리에 붙여 넣는 기술이다. 원본의 표정과 움직임은 살리고 얼굴만 바꾸기 때문에 사람의 눈으로는 구별하기 어렵다.

정식으로 정의하면 딥페이크는 인공지능, 특히 딥러닝 기반 생성 모델을 이용해 특정 인물의 얼굴·목소리·행동을 다른 영상이나 음성에 합성하는 기술과 그 결과물이다. 이름은 딥러닝(deep learning)과 가짜(fake)를 합친 혼성어다. 기존의 음성 모조나 그림 모조와 달리 얼굴 인식 알고리즘과 생성 모델을 함께 사용하는 점이 차이다.

핵심 용어는 다음과 같이 이해한다.

생성적 적대 신경망은 생성기가 가짜를 만들고 판별기가 진짜와 가짜를 가려내는 경쟁 구조다. 두 신경망이 번갈아 학습하면서 생성기의 결과물이 점점 실제와 비슷해진다.

오토인코더는 입력 영상을 작은 잠재 표현으로 압축한 뒤 다시 복원하는 신경망이다. 한 사람의 얼굴로 학습한 인코더와 다른 사람의 얼굴로 학습한 디코더를 조합하면 얼굴을 바꿔 복원할 수 있다.

음성 복제는 짧은 음성 표본으로 특정인의 말투와 음색을 흉내 내는 기술이다. 딥페이크 음성은 영상 얼굴과 결합해 화상 통화나 회의를 사칭하는 데 쓰인다.

3. 등장 배경과 필요성

딥페이크라는 용어는 2017년 레딧 플랫폼에서 사용자들이 동의 없이 만든 이미지를 공유하면서 처음 널리 알려졌다. 이후 2020년대 초 생성 소프트웨어가 누구나 쓸 수 있을 만큼 쉬워지면서 일상 용어가 됐다.

배경에는 세 가지 변화가 있다. 첫째, 생성형 인공지능의 발전으로 영상과 음성을 만드는 비용이 낮아졌다. 둘째, 자동 계정과 추천 시스템이 결합해 조작된 정보가 빠르게 퍼진다. 셋째, 공인과 일반인을 가리지 않고 얼굴과 목소리가 쉽게 도용된다.

사회적 피해도 뚜렷해졌다. 2022년과 2023년에는 사기꾼이 딥페이크 음성으로 기업 임원이나 가족의 목소리를 흉내 내 금전을 빼앗은 사례가 보고됐다. 동의 없이 만든 성적 이미지와 가짜 뉴스 피해도 함께 늘었다.

필요성은 여기서 나온다. 딥페이크는 내용이 거짓으로 밝혀져도 피해가 먼저 발생하므로 사후 정정만으로는 부족하다. 그래서 합성물을 탐지하는 기술, 원본 출처를 기록하는 기술, 법·제도가 함께 필요하다. 잘못된 정보와 허위조작정보를 구분해 대응하는 것도 중요하다. 의도 없이 퍼진 정보와 여론을 흔들려는 조작은 대응 수단이 다르기 때문이다.

또한 실제 영상이 편집됐다는 의심만으로 부정되는 문제도 생겼다.

4. 구성요소·원리·절차

딥페이크 생성은 학습 데이터 수집, 인코더·디코더 학습, 합성, 후처리의 순서로 이루어진다. 핵심은 오토인코더(Autoencoder)와 생성적 적대 신경망(GAN)이다. 오토인코더는 입력 얼굴을 공통 잠재 표현으로 압축한 뒤 대상 인물의 디코더로 복원하여 얼굴을 바꾼다. GAN은 생성기(Generator)와 판별기(Discriminator)가 서로 경쟁하며 판별기를 속일 만큼 자연스러운 이미지를 만든다.

구성요소를 표로 정리하면 다음과 같다.

표 설명: 생성 모델은 얼굴 합성의 품질을 결정한다. 후처리는 합성 경계의 부자연스러움을 줄인다. 탐지 구성요소는 대응방안과 연결된다.

절차는 다음과 같다.

• 원본 인물과 대상 인물의 영상을 수집하고 얼굴 영역을 검출·정렬한다.
• 공통 인코더와 인물별 디코더로 오토인코더를 학습한다.
• 대상 인물의 디코더로 원본 영상의 얼굴을 복원하여 합성한다.
• 색·조명 보정과 경계 혼합으로 자연스러움을 높인다.
• 탐지 모델과 사람의 검토로 결과의 진위를 확인한다.

원리의 핵심은 생성기와 판별기의 경쟁이다. GAN의 목적 함수는 다음과 같이 표현한다.

$\min_G \max_D \; V(D,G)=\mathbb{E}_{x}[\log D(x)]+\mathbb{E}_{z}[\log(1-D(G(z)))]$

여기서 x는 실제 데이터, z는 잠재 벡터, G는 생성기, D는 판별기다. 판별기는 진짜를 1, 가짜를 0으로 구분하도록 학습하고, 생성기는 판별기가 가짜를 진짜로 판정하도록 학습한다. 이 경쟁이 균형을 이루면 사람이 구별하기 어려운 합성물이 나온다.

다음은 전체 흐름을 보인 도식이다.

이 도식은 탐지 결과가 모델 재학습으로 되돌아가는 구조를 보인다. 답안지에는 다섯 칸 흐름과 되먹임 화살표를 그린다.

5. 관련 법령·기준·표준

딥페이크를 직접 규율하는 기준은 법률 중심으로 정비되고 있다. 정확한 조항 번호를 확인하지 못한 경우 이름만 쓴다. 「성폭력범죄의 처벌 등에 관한 특례법」은 허위 영상물 등의 반포 등을 처벌 대상으로 두며, 이 조문은 촬영 등 관련 범죄와 함께 규정되어 있다. 「정보통신망 이용촉진 및 정보보호 등에 관한 법률」은 정보통신망 이용과 관련된 허위·조작 정보 유통을 규율하는 기본 법률이다. 「개인정보 보호법」은 얼굴·음성 등 개인을 식별할 수 있는 정보의 처리를 규율한다.

기준값과 조건을 표로 정리하면 다음과 같다.

표 설명: 국내 법률은 처벌과 규율 대상을 정한다. 국제 표준은 출처 기록 방식을 정한다. 두 축을 함께 보아야 대응방안이 완성된다.

핵심 수치는 다음과 같다. 인공지능 생성물 표시 의무는 생성형 AI 결과물의 표시 의무 부과 방향으로 논의되고 있으며, 세부 기준은 시행 시점에 따라 확인한다.