딥페이크

딥페이크란

딥페이크는 딥러닝으로 실제 인물의 얼굴, 음성, 영상을 합성하거나 바꾼 합성 미디어다.

핵심 키워드는 얼굴 교체, 음성 합성, 합성 미디어 세 가지로 잡는다.

이름은 딥러닝과 가짜를 합친 혼성어다. 진위 판별 기술이 함께 중요해진다.

GAN과 오토인코더

첫째는 GAN이다. 생성기가 가짜를 만들고 판별기가 진짜와 가짜를 가려내는 경쟁 구조다.

두 신경망이 번갈아 학습하면서 생성 결과가 점점 실제와 비슷해진다.

둘째는 오토인코더다. 입력을 작은 잠재 표현으로 압축한 뒤 다시 복원한다.

한 사람의 얼굴로 학습한 인코더와 다른 사람의 얼굴로 학습한 디코더를 조합하면 얼굴을 바꿔 복원할 수 있다.

생성 절차

딥페이크 생성은 다섯 단계로 이루어진다. 수집, 학습, 합성, 후처리, 탐지 순서다.

먼저 얼굴을 검출하고 정렬한다. 이어서 오토인코더나 GAN으로 모델을 학습한다.

학습한 디코더로 얼굴을 복원해 합성하고, 색과 경계를 보정한다.

마지막으로 탐지 모델과 사람의 검토로 진위를 확인한다.

탐지 결과는 모델 재학습으로 되돌아가는 구조다.

생성 방식 비교

생성 방식은 GAN, 오토인코더, 확산 모델로 나뉜다.

GAN은 고해상도와 사실감이 장점이지만 학습이 불안정하다.

오토인코더는 구조가 단순하지만 세부 디테일을 잃을 수 있다.

확산 모델은 품질과 다양성이 좋지만 생성 속도가 느리다.

유형은 합성 대상을, 생성 방식은 학습 구조를 구분한다.

재현율과 오탐율

탐지 성능은 재현율과 오탐율을 함께 봐야 한다. 가상의 수치로 계산해 본다.

재현율은 실제 합성 영상 중 맞게 잡은 비율이다. 합성 영상 1,000건 중 900건을 잡았으므로 0.90이다.

오탐율은 실제 영상 중 잘못 합성으로 본 비율이다. 실제 영상 1,000건 중 50건이 걸려 0.05가 된다.

재현율 90%는 합성물 10건 중 1건을 놓친다는 뜻이다. 오탐율 5%는 실제 영상 20건 중 1건을 잘못 판정한다는 뜻이다.

두 지표를 함께 봐야 한다. 오탐율이 높으면 정상 콘텐츠가 부당하게 차단된다.

시험 포인트와 정리

앞 문제의 정답은 10건이다. 재현율 0.90은 합성 영상 100건 중 10건을 놓친다는 뜻이다.

시험에서는 문제점과 대응을 나눠 쓴다. 문제점은 명예훼손, 성범죄, 금융 사기로 구분한다.

대응은 기술, 법·제도, 교육의 세 축으로 나눠 쓴다. 기술 축은 탐지 AI와 워터마크, 출처 기록이다.

탐지 기술만으로는 모든 합성물을 막을 수 없다. 그래서 절차 통제가 함께 필요하다.

법령 조항 번호는 확인하지 못하면 이름만 쓴다. 정리하면 기술과 제도를 함께 써서 대응한다.