멀티모달

왜 배우는가: 멀티모달은 텍스트·이미지·음성·영상을 함께 다루는 생성형 AI와 자율주행, 의료 영상 진단 등 실무 응용의 기반 기술이다. 기술사 시험에서는 정의, 기술요소, 융합 방식을 묻는 문제로 반복해 출제되므로 개념 구조를 정확히 잡아야 한다.

출제 이력: 제137회 1교시 9번, 제99회 1교시 3번

1. 한 줄 정의와 핵심 키워드

멀티모달(Multimodal)은 텍스트·이미지·음성·영상 등 두 가지 이상의 모달리티를 하나의 모델에서 함께 처리·이해·생성하는 인공지능 기술이다.

• 핵심 키워드: 멀티모달(Multimodal), 모달리티(Modality), 단일모달(Unimodal), 모달리티 정렬(Alignment), 퓨전(Fusion), 공통 임베딩 공간, 크로스모달 검색, 크로스모달 생성

2. 개념 풀이

쉽게 말하면 사람이 사과를 보고, 만지고, 이름을 들으며 하나의 개념으로 아는 것처럼, 여러 종류의 데이터를 함께 받아들여 판단하는 AI다. 대부분의 기존 AI는 한 가지 데이터만 다루는 단일모달 방식이며, 챗봇이 텍스트만 이해하고 텍스트만 출력하는 경우가 그 예다.

정식 정의는 다음과 같다. 멀티모달 AI는 두 가지 이상의 데이터 유형(모달리티)을 처리, 이해 및 생성할 수 있는 인공지능이다. 여기서 모달리티는 머신 러닝 분야에서 데이터 유형과 같은 뜻으로 쓴다. 대표 모달리티는 텍스트, 이미지, 오디오, 비디오다.

멀티모달 AI 시스템은 입력(input) 모듈, 융합(fusion) 모듈, 출력(output) 모듈의 세 요소로 구성된다. 입력 모듈은 각 데이터 유형을 별도의 신경망으로 처리하므로 여러 단일모달 신경망의 집합이다. 이 구조가 멀티모달 AI의 기본 골격이다.

핵심 용어를 정리하면 다음과 같다.

• 모달리티 정렬(Alignment): 서로 다른 모달리티의 어느 부분이 서로 대응하는지 찾는 과정이다.
• 퓨전(Fusion): 여러 모달리티의 정보를 어떻게 결합할지 정하는 과정이다.
• 공통 임베딩 공간: 모달리티가 달라도 의미가 가까운 데이터를 가까운 벡터 위치에 두는 표현 공간이다.

3. 등장 배경과 필요성

기존 단일모달 AI는 한 채널의 정보만 쓰므로 현실 세계의 복합 상황을 충분히 이해하지 못한다. 예를 들어 영상만으로는 사람의 감정을, 텍스트만으로는 장면의 위치 정보를 정확히 파악하기 어렵다. 두 정보를 함께 쓰면 상호 보완으로 인식 정확도가 높아진다.

초기 웹과 UI 분야에서는 마우스와 키보드, 화면과 음성 등 여러 입력 채널을 함께 쓰는 방식을 멀티 모달리티라고 불렀다. 지금의 멀티모달은 이 개념이 AI 모델의 학습과 추론으로 확장된 것이다. 트랜스포머 구조가 텍스트뿐 아니라 이미지와 음성에도 적용되면서 여러 모달리티를 하나의 표현 체계로 다루는 기술적 토대가 마련되었다.

응용 분야는 교차 모달 검색, 헬스케어 진단, 콘텐츠 생성, 로봇공학과 인간-컴퓨터 상호작용, 감정 인식으로 넓어졌다. 교차 모달 검색에서는 CLIP 같은 모델이 데이터를 공유 공간에 임베딩해 텍스트로 이미지를 찾는 검색을 가능하게 한다.

이 세 가지 배경이 맞물리며 멀티모달은 단순 연구 주제에서 실무 핵심 기술로 올라섰다. 답안에서는 단일모달의 한계, 인간의 인지 방식 모방, 응용 확대를 순서대로 쓰면 필요성이 잘 드러난다.

4. 구성요소·원리·절차

멀티모달 AI 시스템은 입력 모듈, 융합 모듈, 출력 모듈 세 요소로 구성된다. 입력 모듈은 데이터 유형마다 별도의 단일모달 신경망을 두므로 전체가 여러 단일모달 신경망의 집합이 된다. 각 신경망이 뽑은 특징을 공통 표현으로 바꾸고, 그 뒤에 융합과 출력이 이어진다.

정렬은 어떤 이미지 영역이 어떤 단어에 대응하는지를 정하는 일이고, 융합은 그 대응 정보를 어떤 순서로 합칠지를 정하는 일이다. 두 단계가 멀티모달 학습의 대표적 난제다.

원리는 같은 개념을 서로 다른 모달로 받은 입력이 공통 공간에서 가까워지도록 학습하는 것이다. 이미지 임베딩 v_i와 텍스트 임베딩 t_j의 코사인 유사도는 다음과 같이 구한다.

$s_{ij}=\frac{v_i^{\top}t_j}{\lVert v_i\rVert\,\lVert t_j\rVert}$

v_i는 i번째 이미지의 임베딩 벡터, t_j는 j번째 텍스트의 임베딩 벡터, 분자는 두 벡터의 내적, 분모는 두 벡터 길이의 곱이다. 값은 -1에서 1 사이이며 1에 가까울수록 두 모달이 같은 개념을 가리킨다고 본다.

융합 방식은 결합 시점에 따라 나뉜다. 초기 퓨전(Early Fusion)은 원시 데이터나 저수준 특징을 먼저 합쳐 정보 손실이 적지만 통신량과 연산량이 많다. 후기 퓨전(Late Fusion)은 각 모달이 낸 결론이나 점수를 나중에 합치므로 통신량이 적다. 제한된 자원의 협업 인공지능에서 후기 퓨전이 더 적합하다고 보는 이유가 여기에 있다.

Transformer의 셀프 어텐션은 멀티모달 입력을 한 시퀀스로 묶어 처리하는 핵심 연산이다.

$\mathrm{Attention}(Q,K,V)=\mathrm{softmax}\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)V$

Q, K, V는 질의·키·값 행렬이고 d_k는 키 벡터의 차원이다. 입력 길이를 n이라 하면 가중치 행렬은 n\times n이 되어 계산량이 n^2에 비례한다. 이 때문에 영상처럼 입력이 긴 모달에서는 계산량 절감이 중요한 과제가 된다.

멀티모달 모델을 설계할 때의 절차는 다음과 같다.

• 입력 데이터의 모달리티 종류와 개수를 정한다.
• 모달리티별 인코더를 선택하고 특징 차원을 맞춘다.
• 공통 임베딩 공간으로 투영하고 정렬 손실로 학습한다.
• 초기·중간·후기 퓨전 중 시스템의 통신량과 연산 자원에 맞는 방식을 고른다.
• 결합된 표현으로 분류·검색·생성 작업을 수행하고 모달 누락 시의 동작을 검증한다.

아래 도식은 답안지에 옮겨 그리는 흐름도다.

5. 관련 법령·기준·표준

따라서 아래 표의 값은 법정 기준값이 아니라 공개 연구·기업 발표에서 확인된 성능과 기술적 특성이다. 기준 이름은 확인된 것만 쓰고, 조문 번호는 쓰지 않는다.

위 표의 메모리 절감률은 사용량 변화로 산출한다. 노타 수치는 보도 기반 자료이므로 원 논문과 대조한 뒤 인용한다. 개인정보가 결합되는 경우에는 「개인정보 보호법」의 결합 규정을 함께 검토한다. 최근 제정된 「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」도 적용 여부를 확인한다.

국제 표준은 번호를 확인할 수 없으므로 이름만 쓴다. 멀티모달 데이터의 품질과 평가 체계는 AI 데이터 품질 관련 표준 문서를 따른다. 답안에서는 기준 수치보다 모달리티 정렬과 재식별 위험 같은 설계 원칙을 중심으로 쓰는 것이 안전하다.

6. 유형과 비교

멀티모달 학습은 융합 시점과 모달리티 결합 방식에 따라 여러 유형으로 나뉜다. 답안에서는 융합 방식과 모달리티 정렬을 기준으로 구분해 쓰면 된다. 아래 표는 융합 시점에 따른 세 가지 방식을 비교한다.