멀티모달 AI 개념

정의와 구성

멀티모달은 두 가지 이상의 모달리티를 함께 다루는 인공지능이다.

모달리티는 데이터 유형을 뜻하며, 텍스트·이미지·오디오·비디오가 대표적이다.

시스템은 입력, 융합, 출력의 세 모듈로 구성되며 입력 모듈은 모달리티별 신경망의 집합이다.

단일모달 AI는 텍스트만 이해하고 텍스트만 출력하는 챗봇처럼 한 종류의 데이터만 다룬다.

정렬과 공통 임베딩 공간

모달리티가 달라도 의미가 가까운 데이터는 가까운 벡터 위치에 둔다. 이를 공통 임베딩 공간이라 한다.

이미지 임베딩과 텍스트 임베딩의 코사인 유사도로 두 모달이 같은 개념인지 잰다.

모달리티 정렬은 서로 대응하는 부분을 찾는 과정이고, 퓨전은 정보를 결합하는 방식을 정한다.

내적을 두 벡터 길이의 곱으로 나누므로 값은 -1에서 1 사이에 놓인다.

퓨전 방식 비교

퓨전은 여러 모달리티의 정보를 어떻게 결합할지 정하는 과정이다.

결합 시점에 따라 초기, 중간, 후기 퓨전으로 나뉜다.

초기 퓨전은 원시 데이터나 저수준 특징을 먼저 합쳐 정보 손실이 적지만 통신량이 많다.

후기 퓨전은 각 모달이 낸 결론이나 점수를 나중에 합치므로 통신량이 적다.

융합 시점은 상호작용량과 통신·연산 자원의 절충으로 정한다.

셀프 어텐션과 계산량

트랜스포머의 셀프 어텐션은 멀티모달 입력을 하나의 시퀀스로 묶어 처리하는 핵심 연산이다.

질의 Q와 키 K로 점수를 만들고, 키 차원 d_k의 제곱근으로 나눈다.

입력 길이를 n이라 하면 가중치 행렬은 n×n이 되어 계산량이 n²에 비례한다.

그래서 영상처럼 입력이 긴 모달에서는 계산량 절감이 중요한 과제가 된다.

한계와 헷갈리는 점

멀티모달 학습에는 대표적인 한계가 여럿 있다.

첫째, 모달리티 간 정렬 난도가 높다. 둘째, 결측 모달리티가 있으면 성능이 떨어진다.

셋째, 중복 정보를 가진 모달리티를 함께 쓰면 이득 없이 연산만 늘어난다.

넷째, 여러 출처를 결합하면 각 출처가 익명이어도 재식별될 수 있다.

다섯째, 어텐션은 입력 길이의 제곱에 비례해 연산과 GPU 메모리 부담이 크다.

개선 방향

첫째, 모달리티 드롭아웃으로 학습해 일부 입력이 없어도 추론되게 한다.

둘째, 불필요한 전문가 모듈을 프루닝해 메모리를 줄인다.

셋째, 지식 증류로 큰 모델의 판단을 작은 모델에 옮겨 온디바이스 실행을 가능하게 한다.

넷째, 결합 전에 익명화와 차등 개인정보 보호를 적용해 재식별 위험을 낮춘다.

핵심 정리

마지막으로 핵심을 정리한다.

멀티모달은 두 가지 이상의 모달리티를 처리·이해·생성하는 AI이며, 입력·융합·출력 모듈로 구성된다.

시험에서는 정의, 구성요소, 퓨전 방식, 한계를 빠뜨리지 않고 쓰는 것이 중요하다.