Transfusion: 언어 모델링과 확산을 통합하는 멀티모달 생성

Meta · 2024-08-01 · Multimodal · CC-BY-NC-4.0

개요

Transfusion은 2024년 Meta가 발표한 통합 멀티모달 생성 모델로, 단일 트랜스포머 안에서 언어 모델링(다음 토큰 예측)과 확산 모델링(diffusion)을 동시에 수행하는 혁신적인 아키텍처이다. 기존 멀티모달 생성 접근법이 하나의 패러다임으로 모든 모달리티를 처리하려 했던 것과 달리, Transfusion은 각 모달리티에 최적화된 생성 방식을 유지하면서도 하나의 모델로 통합한다.

텍스트는 이산 토큰의 다음 토큰 예측(cross-entropy loss)으로, 이미지는 연속 벡터의 노이즈 제거(diffusion loss, MSE)로 처리한다. 이 설계의 핵심 통찰은, 텍스트와 이미지가 근본적으로 다른 데이터 특성을 가지므로 각각에 최적화된 생성 패러다임을 사용하는 것이 통합 토크나이제이션(예: Chameleon의 VQ 방식)보다 우수하다는 것이다. 텍스트는 이산적이고 순차적이므로 자기회귀가 자연스럽고, 이미지는 연속적이고 공간적이므로 확산이 자연스럽다.

이미지를 이산화(tokenization)하지 않고 VAE의 연속 잠재 벡터로 직접 처리하므로, VQ 양자화에서 발생하는 정보 손실이 없다. VQ 방식은 코드북의 크기에 의해 표현력이 제한되고, 양자화 과정에서 미세한 디테일이 손실되지만, Transfusion은 연속 벡터를 직접 사용하여 이 한계를 극복한다. 그 결과 텍스트 생성과 이미지 생성 모두에서 전문 모델과 경쟁하는 성능을 달성하며, 7B 파라미터에서 DALL-E 2와 경쟁하는 이미지 품질을 보이며, GenEval 벤치마크에서 0.71점으로 DALL-E 2의 0.52점을 크게 상회한다. 이와 동시에 텍스트 성능(C4 Perplexity 7.21, MMLU 54.8)은 동일 규모의 순수 언어 모델 LLaMA 2(7.08, 55.1)와 거의 동일하여, 이미지 학습이 텍스트 성능을 저하시키지 않음을 입증한다.

아키텍처 상세

혼합 시퀀스 표현

Transfusion의 입력 시퀀스는 텍스트 토큰과 이미지 패치 벡터가 인터리브된(interleaved) 혼합 시퀀스이다. 텍스트는 표준 토크나이저(BPE 등)로 이산 토큰 시퀀스로 변환되고, 이미지는 사전학습된 VAE 인코더를 통해 연속 잠재 벡터 시퀀스로 변환된다. 이미지 시작과 끝은 특수 토큰 <BOI>(Begin of Image)와 <EOI>(End of Image)로 표시된다.

하나의 시퀀스 예시: [텍스트 토큰들] [<BOI>] [이미지 패치 벡터들] [<EOI>] [텍스트 토큰들]

텍스트 토큰은 임베딩 테이블을 통해 벡터로 변환되고, 이미지 패치 벡터는 선형 프로젝션을 통해 동일한 차원으로 변환된다. 이를 통해 하나의 트랜스포머가 두 모달리티를 동시에 처리할 수 있다.

이중 손실 함수

Transfusion의 핵심 설계는 하나의 트랜스포머에서 두 가지 손실 함수를 동시에 최적화하는 것이다:

언어 모델 손실 (텍스트 토큰에 적용):

$L_{LM} = - \sum_{t \in text} lo g P (x_{t} ∣ x_{< t})$

표준 자기회귀 언어 모델 손실로, 이전 토큰들이 주어졌을 때 다음 텍스트 토큰의 확률을 최대화한다.

확산 손실 (이미지 패치에 적용):

$L_{Diff} = E_{t, ϵ} [∥ ϵ - ϵ_{θ} (z_{t}, t, c) ∥_{2}^{2}]$

여기서 $z_{t} = \overset{α}{ˉ}_{t} z_{0} + 1 - \overset{α}{ˉ}_{t} ϵ$ 는 시간 $t$ 에서 노이즈가 추가된 잠재 벡터이다. $ϵ \sim N (0, I)$ 은 가우시안 노이즈, $ϵ_{θ}$ 는 모델의 노이즈 예측, $c$ 는 주변 텍스트에서 온 컨텍스트이다.

전체 손실은 두 손실의 가중합으로 계산된다:

$L_{Transfusion} = L_{LM} + λ \cdot L_{Diff}$

여기서 $λ$ 는 두 손실 간의 균형을 조절하는 하이퍼파라미터이다. $λ$ 가 너무 크면 텍스트 성능이 하락하고, 너무 작으면 이미지 품질이 저하된다.

어텐션 마스크 설계

Transfusion은 모달리티별로 다른 어텐션 패턴을 적용하는 하이브리드 어텐션 마스크를 사용한다:

텍스트 토큰 간: 표준 인과 마스크(causal mask)를 사용하여 자기회귀 생성을 지원한다. 각 텍스트 토큰은 자신과 이전 토큰만 참조할 수 있다.
이미지 패치 내부: U-Net의 로컬 어텐션 아이디어를 차용한 양방향 어텐션(bidirectional attention)을 적용한다. 이미지 내 패치들은 서로를 모두 참조할 수 있어, 이미지의 전역적 일관성을 유지한다. 이는 확산 모델의 디노이징 과정에서 이미지 전체의 정보를 활용할 수 있게 한다.
텍스트-이미지 간: 양방향 크로스 어텐션을 사용하여 텍스트 조건이 이미지 생성에 영향을 미치고, 동시에 이미지 정보가 후속 텍스트 생성에 활용된다.

추론 과정

추론 시 텍스트와 이미지는 각기 다른 방식으로 생성된다:

텍스트 생성: 표준 자기회귀 디코딩으로 한 토큰씩 생성한다. top-k, top-p 샘플링 등 일반적인 디코딩 전략을 사용할 수 있다.
이미지 생성: <BOI> 토큰이 생성되면, 순수 가우시안 노이즈 $z_{T} \sim N (0, I)$ 에서 시작하여 DDPM 또는 DDIM 스케줄에 따라 반복적으로 노이즈를 제거한다. 각 디노이징 단계에서 트랜스포머의 이미지 출력이 노이즈 예측으로 사용되며, 텍스트 컨텍스트가 자연스럽게 조건으로 작용한다. 생성이 완료되면 VAE 디코더로 픽셀 이미지를 복원하고 <EOI> 토큰을 추가한 뒤 텍스트 생성을 재개한다.

핵심 혁신

Transfusion은 멀티모달 생성의 근본적인 설계 질문에 대해 명확한 답을 제시한다. “모든 모달리티를 하나의 방식으로 처리해야 하는가, 아니면 각 모달리티에 최적화된 방식을 유지해야 하는가?” Transfusion의 답은 후자이다.

Transfusion의 가장 핵심적인 혁신은 모달리티별 최적 생성 패러다임의 통합이다. 텍스트는 이산적이고 순차적인 특성을 가지므로 자기회귀 생성이 최적이고, 이미지는 연속적이고 공간적인 특성을 가지므로 확산 기반 생성이 최적이다. Transfusion은 이 두 패러다임을 하나의 트랜스포머 내에서 공존시킴으로써, 각 모달리티의 장점을 최대한 활용한다.

이산화 없는 이미지 처리도 중요한 기여이다. VQ 토크나이제이션을 사용하는 모델(Chameleon, Show-o)들은 양자화 과정에서 불가피한 정보 손실이 발생하지만, Transfusion은 VAE의 연속 잠재 벡터를 직접 사용하므로 이 손실을 완전히 회피한다. 이는 특히 세밀한 텍스처, 얼굴 디테일, 복잡한 패턴의 이미지 생성에서 큰 차이를 만든다.

어텐션 마스크의 모달리티 적응적 설계 역시 독창적이다. 텍스트의 인과적 특성과 이미지의 공간적 특성을 동시에 반영하는 하이브리드 어텐션 패턴은, 기존의 모든 토큰에 동일한 마스크를 적용하는 방식보다 훨씬 효과적이다. 이미지 패치 간 양방향 어텐션은 확산 과정에서 전역적 일관성을 보장한다.

벤치마크/성능

벤치마크	Transfusion 7B	Chameleon 7B	DALL-E 2	LLaMA 2 7B
GenEval (이미지 생성)	0.71	0.51	0.52	N/A
FID (MS-COCO)	6.78	15.8	10.39	N/A
CLIP Score	0.31	0.27	0.29	N/A
텍스트 PPL (C4)	7.21	8.34	N/A	7.08
MMLU (5-shot)	54.8	48.2	N/A	55.1

Transfusion은 이미지 생성에서 GenEval 0.71, FID 6.78로 DALL-E 2(0.52, 10.39)와 Chameleon(0.51, 15.8)을 크게 상회한다. 동시에 텍스트 성능에서 Perplexity 7.21과 MMLU 54.8로 순수 언어 모델인 LLaMA 2(7.08, 55.1)와 거의 동일한 성능을 유지한다. 이는 두 모달리티의 학습이 서로를 방해하지 않으며, 오히려 공유 표현을 통해 시너지를 발휘할 수 있음을 보여준다. 이 결과는 멀티모달 모델에서 흔히 우려되는 태스크 간 간섭(task interference) 문제가 Transfusion의 이중 손실 설계에서는 발생하지 않음을 경험적으로 증명한다. 특히 이미지 생성 학습이 텍스트의 시각적 개념 이해를 강화하여, 시각적 설명 생성 태스크에서 추가적인 성능 향상이 관찰된다.

스케일링 분석

Transfusion은 0.16B, 0.37B, 0.76B, 1.4B, 7B의 다양한 모델 크기에서 실험을 수행하여, 통합 모델의 스케일링 특성을 체계적으로 분석하였다. 모델 크기가 증가함에 따라 텍스트 Perplexity와 이미지 FID 모두 일관되게 개선되며, 두 모달리티 간에 스케일링 간섭(scaling interference)이 발생하지 않음을 확인하였다. 이는 하나의 모델에서 두 모달리티를 동시에 학습하는 것이 스케일링 관점에서도 효율적임을 의미한다.

특히 주목할 점은, 동일한 총 계산량(FLOPs)에서 Transfusion이 텍스트 전용 모델과 이미지 전용 모델을 각각 학습하는 것보다 더 효율적이라는 것이다. 이는 텍스트와 이미지 간의 공유 표현(shared representation)이 두 태스크 모두에 긍정적인 전이 효과를 제공하기 때문으로 분석된다. 텍스트가 이미지의 의미적 이해를 돕고, 이미지가 텍스트의 시각적 그라운딩(visual grounding)을 강화하는 양방향 시너지가 관찰된다.

학습

텍스트와 이미지를 인터리브한 혼합 데이터셋으로 학습한다. 이미지는 사전학습된 VAE로 인코딩된 연속 잠재 벡터를 사용하며, 언어 모델 손실과 확산 손실을 가중합하여 최적화한다. LLaMA 아키텍처를 기반으로 0.16B부터 7B까지 다양한 크기로 스케일링 실험을 수행하였으며, 모델 크기가 증가함에 따라 텍스트와 이미지 모두에서 일관된 성능 향상을 확인하였다. 두 손실의 가중치 $λ$ 조절이 성능에 중요한 영향을 미치며, 텍스트 대 이미지 데이터의 비율도 신중하게 조절한다. 학습 데이터는 텍스트 전용 코퍼스와 이미지-텍스트 쌍 데이터(LAION 등)를 혼합하여 사용한다.

참고 자료

논문

한계와 전망

Transfusion의 주요 한계는 이미지 생성 시 확산 과정의 반복적 디노이징이 필요하여 추론 속도가 느리다는 점이다. 텍스트는 자기회귀로 빠르게 생성되지만, 이미지 하나를 생성하기 위해 수십~수백 단계의 디노이징이 필요하다. 또한 확산 과정의 하이퍼파라미터(노이즈 스케줄, 디노이징 단계 수 등)가 이미지 품질에 큰 영향을 미쳐, 최적 설정을 찾기 위한 탐색이 필요하다.

Transfusion의 핵심 아이디어는 Meta의 후속 모델들에서 계승되고 있으며, 이산 토큰 방식과 연속 벡터 방식의 장단점을 분석하는 중요한 기준점을 제공하였다. 향후 flow matching이나 consistency model 등 더 효율적인 생성 패러다임과의 결합이 기대된다.

도형준 지식 볼트

탐색기

Transfusion: 멀티모달 AI 모델