멀티모달 데이터 품질검증

무엇을 검증하는가

멀티모달 데이터 품질검증은 텍스트와 이미지 등 여러 모달리티 데이터의 품질을 확인하는 절차다.

데이터 한 종류만 보는 검사와 달리 종류 사이의 연결까지 함께 본다.

핵심은 모달 간 정합성이다. 이미지와 설명문이 같은 대상을 가리키는지 확인한다.

검증 절차

절차는 원천 데이터에서 시작해 학습 데이터를 확정하는 흐름이다.

먼저 모달별로 형식과 내용을 검사하고, 그다음 모달 간 정합성을 본다.

이어서 분포와 편향을 분석한 뒤 사람이 샘플을 검수한다. 문제가 나오면 앞 단계로 되돌아가 재검사한다.

모달 간 관계는 개별 검사만으로 확인되지 않으므로 두 모달을 함께 대조한다.

생성 이미지 지표

생성 이미지의 유효성 지표는 원천 데이터 검증과 따로 계산한다.

FID는 실제 이미지와 생성 이미지의 특징 분포를 비교한다. 값이 작을수록 분포가 가깝다.

IS는 생성 이미지에 대한 분류 모델의 예측 분포로 계산한다. 선명도와 다양성을 함께 반영한다.

두 지표는 방향이 반대이므로 보고서에 각각의 방향을 명시한다.

지표 비교

세 지표는 평가하는 관점이 서로 다르다. 표에서 기준 대상부터 비교한다.

FID는 기준 데이터셋의 특징 분포와 비교한다. 값이 낮을수록 분포가 가깝다.

IS는 분류 모델의 라벨 예측 분포를 본다. 값이 높을수록 선명하고 다양하다.

CLIP 유사도는 입력 텍스트와 이미지를 비교해 프롬프트 정합을 확인한다.

지표 선택 순서

지표 선택은 과제 목적을 먼저 정한 뒤, 정답 이미지가 있는지부터 확인한다.

정답 이미지가 없는 생성 과제는 분포 기반 지표인 FID와 IS를 주로 쓴다.

정답이 있는 과제는 PSNR, SSIM, LPIPS로 픽셀과 구조 차이를 함께 본다.

텍스트 조건 생성은 CLIP 유사도로 의미 정합성을 보고, 시각 품질은 사람 검수로 보완한다.

헷갈리는 점

첫째, IS는 클래스 예측 분포에 기반하므로 텍스트 조건 평가에는 한계가 있다.

둘째, FID 값은 특징 추출기와 기준 데이터셋에 따라 달라지므로 절대 기준이 아니다.

그래서 지표는 과제 목적에 맞게 조합하고, 평가 데이터와 조건을 함께 기록한다.

정리

멀티모달 데이터 품질검증은 모달별 검사와 모달 간 정합성 검사를 함께 하는 절차다.

검증은 학습 전 한 번이 아니라 수집·가공·학습 단계마다 반복한다.

자동 검사와 사람 검수를 결합하고, 지표의 한계와 평가 조건을 함께 기록한다.