LLaMA 4 (Scout / Maverick / Behemoth): MoE 기반 차세대 오픈소스 대규모 언어 모델

Meta · 2025-04-05 · Decoder-only · Sparse MoE · Meta LLaMA 4 Community License

개요

LLaMA 4는 Meta가 2025년 4월 공개한 Mixture-of-Experts(MoE) 기반 대규모 언어 모델 시리즈로, Scout, Maverick, Behemoth 세 가지 변형을 포함한다. LLaMA 시리즈의 네 번째 세대에 해당하며, 이전 세대인 LLaMA 3의 밀집(dense) 구조에서 희소 MoE 구조로의 근본적인 전환을 단행하였다. 이 아키텍처 전환은 파라미터 규모 대비 추론 비용을 획기적으로 절감하면서도 모델의 전체적인 표현력을 유지하거나 향상시키는 것을 목표로 한다.

LLaMA 4의 역사적 의의는 세 가지 측면에서 두드러진다. 첫째, 오픈소스 생태계에서 MoE 아키텍처를 전면적으로 채택한 대표적 사례로, Mixtral이 개척한 오픈소스 MoE 시장에 Meta라는 거대 기업이 본격적으로 참여했다는 신호이다. 둘째, Scout 모델은 업계 최장 수준인 10M(천만) 토큰 컨텍스트 윈도우를 지원하여, 수십만 토큰 수준에 머물던 기존 한계를 대폭 확장하였다. 셋째, Maverick는 GPT-4o 및 Gemini 2.0 Flash와 동등한 성능을 단일 H100 노드에서 구현하여, 고성능 LLM의 배포 비용 장벽을 크게 낮추었다. Behemoth는 2T(추정) 파라미터의 프론티어 모델로, 오픈소스 모델의 스케일링 상한선을 탐색하는 역할을 담당한다.

LLaMA 4는 또한 네이티브 멀티모달(비전+텍스트) 능력을 기본으로 내장하여, 별도의 멀티모달 어댑터 없이도 이미지와 텍스트를 함께 처리할 수 있다. 30조 토큰 이상의 다국어 멀티모달 데이터로 사전 학습되었으며, MetaP(Meta P-scaling) 기법을 활용한 안정적인 하이퍼파라미터 스케일링이 적용되었다.

아키텍처 상세

MoE(Mixture-of-Experts) 구조

LLaMA 4의 가장 근본적인 변화는 밀집 Transformer에서 희소 MoE Transformer로의 전환이다. 각 MoE 레이어에서 FFN(Feed-Forward Network) 블록이 $N$ 개의 독립적인 전문가(expert) 네트워크로 교체되며, 게이팅 네트워크(gating network)가 각 토큰에 대해 활성화할 전문가를 선택한다.

$y = \sum_{i = 1}^{N} g_{i} (x) \cdot E_{i} (x), g_{i} (x) = {softmax (W_{g} x)_{i} 0 if i \in TopK otherwise$

여기서 $E_{i}$ 는 $i$ 번째 전문가의 FFN 출력, $g_{i} (x)$ 는 게이팅 점수이다. LLaMA 4는 Top-1 라우팅을 채택하여 각 토큰이 16개 전문가 중 단 1개만 활성화한다. 이를 통해 총 파라미터 대비 실제 연산에 사용되는 활성 파라미터 비율을 극적으로 줄인다.

모델	총 파라미터	활성 파라미터	전문가 수	활성 전문가	컨텍스트
Scout	17B	3.6B	16	1	10M
Maverick	400B	17B	16	1	1M
Behemoth	~2T (추정)	미공개	미공개	미공개	미공개

인터리브드 어텐션 (Interleaved Attention)

LLaMA 4는 인터리브드 어텐션 구조를 도입하였다. 이는 전체 레이어에 동일한 어텐션 메커니즘을 적용하는 대신, 로컬 어텐션과 글로벌 어텐션 레이어를 교차 배치하는 방식이다. 로컬 어텐션 레이어는 짧은 윈도우 내에서만 어텐션을 수행하여 연산 효율을 높이고, 글로벌 어텐션 레이어는 전체 시퀀스에 걸쳐 장거리 의존성을 포착한다. 이 하이브리드 접근법은 수백만 토큰 규모의 컨텍스트 윈도우를 실용적으로 구현할 수 있게 해주는 핵심 기술이다.

iRoPE (비등방성 RoPE)

기존 RoPE(Rotary Position Embedding)를 확장한 iRoPE를 도입하여 초장문 컨텍스트 처리를 가능하게 하였다. 표준 RoPE는 각 차원에 동일한 주파수 스케일링을 적용하는 반면, iRoPE는 차원별로 서로 다른 스케일링을 적용한다:

$iRoPE (x, m) = x \cdot (cos (m \cdot θ_{i} \cdot s_{i}) sin (m \cdot θ_{i} \cdot s_{i}))$

여기서 $s_{i}$ 는 차원 $i$ 에 대한 스케일링 인자이다. 저주파 성분은 적게, 고주파 성분은 크게 스케일링하여 긴 시퀀스에서의 위치 인코딩 외삽 품질을 유지한다.

핵심 아키텍처 사양

구성 요소	사양
어텐션	Grouped Query Attention (GQA)
정규화	RMSNorm (Pre-Norm)
활성화 함수	SwiGLU
위치 인코딩	iRoPE (RoPE 기반 비등방성 확장)
라우팅	Top-1 Expert Routing
멀티모달	네이티브 비전+텍스트 (Early Fusion)

# LLaMA 4 MoE 라우팅 개념적 구현
import torch
import torch.nn as nn
 
class LLaMA4MoELayer(nn.Module):
    def __init__(self, d_model, d_ff, num_experts=16):
        super().__init__()
        self.gate = nn.Linear(d_model, num_experts, bias=False)
        self.experts = nn.ModuleList([
            SwiGLUFFN(d_model, d_ff) for _ in range(num_experts)
        ])
 
    def forward(self, x):
        # Top-1 라우팅: 각 토큰당 1개 전문가만 활성화
        gate_logits = self.gate(x)  # (batch, seq, num_experts)
        top1_idx = gate_logits.argmax(dim=-1)  # (batch, seq)
        top1_weight = torch.softmax(gate_logits, dim=-1).gather(
            -1, top1_idx.unsqueeze(-1)
        ).squeeze(-1)
 
        # 선택된 전문가만 연산 수행
        output = torch.zeros_like(x)
        for i, expert in enumerate(self.experts):
            mask = (top1_idx == i)
            if mask.any():
                output[mask] = top1_weight[mask].unsqueeze(-1) * expert(x[mask])
        return output

핵심 혁신

LLaMA 4의 핵심 혁신은 세 가지로 요약된다. 첫째, Dense에서 Sparse MoE로의 전환으로 LLaMA 시리즈의 아키텍처 패러다임을 근본적으로 변경하였다. Maverick(400B)은 17B의 활성 파라미터만으로 400B 밀집 모델에 필적하는 표현력을 달성하여, MoE의 효율성을 대규모에서 입증하였다.

둘째, 10M 토큰 컨텍스트라는 업계 최장 수준의 컨텍스트 윈도우를 달성하였다. 인터리브드 어텐션과 iRoPE의 조합으로 기존 128K~1M 수준의 컨텍스트 한계를 한 차원 넘어섰다. 이는 전체 코드베이스 분석, 대규모 문서 처리 등 실무적으로 중요한 시나리오를 가능하게 한다.

셋째, 네이티브 멀티모달 능력을 사전 학습 단계부터 통합하여 별도의 어댑터 학습 없이 이미지-텍스트 통합 추론이 가능하다. 이는 GPT-4o, Gemini와 동일한 방향의 진화이며, 오픈소스 진영에서 이를 달성한 첫 대규모 사례이다.

벤치마크/성능

Maverick 성능 비교

벤치마크	LLaMA 4 Maverick	GPT-4o	Gemini 2.0 Flash	DeepSeek-V3
MMLU	~86%	85.7%	~85%	87.1%
MATH	~70%	76.6%	~75%	75.9%
HumanEval	~82%	90.2%	~85%	82.6%
MT-Bench	~9.0	9.32	~9.1	~9.0

Maverick는 단일 H100 노드(8xH100)에서 구동 가능하면서 GPT-4o와 동등 수준의 성능을 보여준다.

Scout 효율성 비교

특성	LLaMA 4 Scout	Mistral-7B	Llama-3-8B
활성 파라미터	3.6B	7.3B	8B
컨텍스트	10M	32K	8K
MMLU	~68%	60.1%	66.6%

Scout는 3.6B 활성 파라미터로 7B~8B 밀집 모델과 경쟁하면서 10M 컨텍스트를 지원한다.

학습

30조 토큰 이상의 다국어 멀티모달 데이터로 사전 학습되었다. MetaP(Meta P-scaling) 기법이 핵심 기술로, 모델 크기가 달라져도 하이퍼파라미터를 안정적으로 전이할 수 있게 해주는 자동 스케일링 방법론이다. 사후 학습에서는 SFT 및 온라인 RLHF(DPO+온라인 선호 최적화)를 적용하여 인스트럭션 튜닝 버전을 산출한다. Behemoth의 훈련에는 수만 개의 GPU 클러스터가 동원된 것으로 알려져 있다.

도형준 지식 볼트

탐색기

LLaMA 4 (Scout / Maverick / Behemoth): MoE 기반 대규모 언어 모델