InternVL 3: 네이티브 멀티모달 사전학습과 MoE의 결합

개요

InternVL 3는 2025년 1월 Shanghai AI Lab이 발표한 78B 파라미터 규모의 MoE 기반 멀티모달 모델이다. InternVL 시리즈의 최신작으로, **네이티브 멀티모달 사전학습(Native Multimodal Pre-training)**을 핵심 혁신으로 도입하여 기존 시리즈 대비 비약적인 성능 향상을 달성하였다.

기존 VLM 구축 방식은 “텍스트 전용 LLM을 먼저 학습 → 비전 모듈을 사후 통합”하는 2단계 접근이었다. InternVL 3는 이 패러다임을 벗어나 텍스트, 이미지, 비디오 데이터를 처음부터 혼합하여 사전학습하는 네이티브 방식을 채택하여, 더 깊은 수준의 시각-언어 정렬을 달성하였다. MoE 아키텍처를 도입하여 파라미터 효율성을 높이면서도 GPT-4V, Claude 3.5 Sonnet과 경쟁하는 성능을 오픈소스로 달성한 것이 가장 큰 성과이다.

아키텍처 상세

전체 구조

InternViT-6B: InternVL 시리즈의 6B 비전 인코더를 계승
픽셀 셔플 프로젝터: 동적 해상도 처리 + 시각 토큰 압축
MoE LLM (78B): Mixture of Experts 기반 언어 모델

네이티브 멀티모달 사전학습

기존 방식 (InternVL 2 등): $LLM 텍스트 사전학습 \to 비전 - 언어 정렬 \to 멀티모달 SFT$

InternVL 3 방식: $텍스트 + 이미지 + 비디오 통합 사전학습 \to 멀티모달 SFT \to RLHF$

네이티브 방식은 모델이 학습 초기부터 시각 정보와 텍스트 정보의 관계를 학습하므로, 사후 통합 방식에서 발생하는 **모달리티 간 표현 갭(representation gap)**이 크게 줄어든다. 이는 복잡한 시각적 추론 태스크에서 특히 큰 효과를 보인다.

MoE 아키텍처

항목	값
전체 파라미터	78B
활성 파라미터	~14B
전문가 수	64
활성 전문가	8
공유 전문가	있음
어텐션	Grouped Query Attention
위치 인코딩	RoPE
컨텍스트 길이	32,768
히든 차원	7168
레이어 수	61

동적 해상도 처리

InternVL 2에서 도입된 동적 해상도 처리를 계승하면서 개선하였다:

$I \in R^{H \times W \times 3} \to {T_{1}, ..., T_{n}, T_{global}}$

각 타일은 InternViT-6B로 인코딩되고, 픽셀 셔플로 토큰 수를 1/4로 압축한다. 고해상도 이미지에서 최대 12개 타일을 처리하여 OCR, 차트, 문서 등 세밀한 시각 정보가 필요한 태스크에서 높은 성능을 발휘한다.

핵심 혁신

1. 네이티브 멀티모달 사전학습

텍스트 전용 LLM을 먼저 학습하고 나중에 비전을 붙이는 대신, 처음부터 멀티모달 데이터로 학습하여 시각-언어 정렬의 깊이를 근본적으로 높였다. 이는 GPT-4o가 채택한 것과 같은 방향이며, 오픈소스에서 이를 대규모로 구현한 최초의 사례 중 하나이다.

2. MoE + VLM의 본격적 결합

DeepSeek-VL2에 이어 MoE를 VLM에 적용하였으며, 78B 전체 파라미터 중 ~14B만 활성화하여 추론 효율성을 높이면서도 대규모 모델의 지식 용량을 유지한다.

3. 데이터 큐레이션 파이프라인

웹 스케일 멀티모달 데이터와 고품질 합성 데이터를 결합한 체계적인 데이터 큐레이션으로, 수학, 과학, 코드, OCR, 차트 등 전문 도메인에서의 성능을 크게 향상시켰다.

벤치마크/성능

벤치마크	InternVL 3-78B	GPT-4V	Claude 3.5 Sonnet	Qwen2-VL-72B
MMMU	62.1	56.8	65.4	54.1
MathVista	71.4	58.1	67.7	70.5
OCRBench	86.2	78.0	82.8	85.5
DocVQA	93.8	87.2	90.8	93.1
VideoMME	68.3	—	—	63.3

특성	InternVL 3	GPT-4V	Qwen2-VL	LLaVA-OV
사전학습 방식	네이티브 멀티모달	네이티브	사후 통합	사후 통합
LLM 타입	MoE (78B/14B)	비공개	Dense 72B	Dense 72B
비전 인코더	InternViT-6B	비공개	ViT-675M	SigLIP-400M
오픈소스	공개	비공개	공개	공개
비디오 이해	강함	강함	보통	강함

학습 상세

3단계 학습 파이프라인:

Stage 1: 네이티브 멀티모달 사전학습

텍스트 + 이미지-텍스트 + 비디오-텍스트 혼합 데이터
웹 스케일 + 합성 데이터 결합
MoE 전문가 라우팅 + 로드 밸런싱 손실

Stage 2: 멀티태스크 SFT

VQA, OCR, 차트, 수학, 과학, 코드 등 전문 도메인 데이터
동적 해상도 혼합 배치 학습

Stage 3: RLHF 정렬

응답 품질, 안전성, 유용성 최적화
대규모 A100 클러스터 사용

학습 상세 보충

네이티브 멀티모달 사전학습의 핵심은 데이터 혼합 비율이다. 텍스트 데이터가 지나치게 많으면 시각 능력이 약해지고, 이미지 데이터가 과도하면 언어 추론 능력이 저하된다. InternVL 3는 학습 초기에는 텍스트 비율을 높게, 후기에는 멀티모달 비율을 높이는 동적 혼합 전략으로 이 균형을 유지한다. MoE의 로드 밸런싱 손실도 중요한데, 특정 전문가에 토큰이 쏠리면 다른 전문가의 학습이 지연되므로 균등한 분배를 유도한다:

$L_{balance} = N \sum_{i = 1}^{N} f_{i} \cdot p_{i}$

여기서 $f_{i}$ 는 전문가 $i$ 에 할당된 토큰 비율, $p_{i}$ 는 라우터의 평균 게이팅 확률이다.

실무 활용

from transformers import AutoModel, AutoTokenizer
import torch
 
model = AutoModel.from_pretrained(
    "OpenGVLab/InternVL3-78B",
    torch_dtype=torch.bfloat16,
    trust_remote_code=True
).to("cuda")
tokenizer = AutoTokenizer.from_pretrained(
    "OpenGVLab/InternVL3-78B",
    trust_remote_code=True
)
 
# 고해상도 문서 분석
response = model.chat(
    tokenizer,
    pixel_values=load_document("report.pdf"),
    question="이 보고서의 핵심 수치를 요약해주세요."
)

한계 및 전망

한계

모델 크기: 78B 파라미터로 인해 배포에 고성능 GPU가 필요하다 (MoE 특성상 전체 파라미터 로딩 필요)
네이티브 사전학습 비용: 처음부터 멀티모달로 학습하므로 텍스트 전용 사전학습 대비 비용이 크게 증가한다
MoE 서빙 복잡성: 전문가 라우팅, 로드 밸런싱 등 배포 인프라의 복잡도가 높다

전망

InternVL 3는 네이티브 멀티모달 사전학습이 오픈소스 환경에서도 실현 가능하며, GPT-4V 수준의 성능을 달성할 수 있음을 입증하였다. 향후 더 큰 규모의 MoE 모델, 더 정교한 네이티브 사전학습, 비디오/오디오까지 확장된 옴니모달 사전학습으로 발전할 것으로 기대된다.

도형준 지식 볼트

탐색기

InternVL 3: 멀티모달 AI 모델