Training Compute-Optimal Large Language Models (Chinchilla)

개요

2022년 NeurIPS에서 발표된 DeepMind의 「Training Compute-Optimal Large Language Models」, 흔히 Chinchilla 논문으로 불리는 이 연구는 AI 스케일링 연구의 패러다임을 바꿨다. 핵심 메시지는 명확하다: Kaplan et al.(2020)의 스케일링 법칙은 모델을 너무 크게, 데이터는 너무 적게 사용하도록 유도하는 편향이 있었으며, 최적의 학습을 위해서는 모델 크기 $N$과 학습 토큰 수 $D$를 동일한 비율로 함께 늘려야 한다.

이를 검증하기 위해 연구팀은 70B 파라미터의 Chinchilla 모델을 1.4조(1.4T) 토큰으로 학습시켰으며, 이 모델이 당시 최고 성능 모델인 280B Gopher를 대부분의 벤치마크에서 능가함을 보였다.

배경 및 문제 정의

Kaplan et al.(2020)은 고정된 컴퓨팅 예산에서 최적 모델 크기가 $N_{opt}\propto C^{0.73}$을 따른다고 주장하며, 데이터 크기보다 모델 크기를 더 빠르게 늘려야 한다고 결론지었다. 이 결론은 Gopher(280B), MT-NLG(530B), GPT-3(175B) 등의 개발에 영향을 미쳤다.

그러나 Hoffmann et al.은 Kaplan et al.의 실험 설계에 중대한 결함이 있음을 발견했다: 학습 토큰 수를 모델별로 고정하지 않고, 상대적으로 적은 토큰만 사용하여 학습을 조기 종료했기 때문에 데이터 스케일링의 효과가 과소평가되었다는 것이다.

핵심 아이디어

수정된 스케일링 법칙

Hoffmann et al.은 세 가지 독립적인 방법으로 최적 모델 크기와 토큰 수를 추정했다.

방법 1: 고정 컴퓨팅 예산에서 모델 크기 변화

컴퓨팅 $C$를 고정하고 모델 크기 $N$을 변화시키며 각 경우의 최적 학습 토큰 수를 측정했다.

방법 2: IsoFLOP 프로파일

동일한 총 컴퓨팅(IsoFLOP) 조건에서 다양한 크기의 모델을 학습시켜 최소 손실을 달성하는 모델 크기를 찾았다.

방법 3: 손실 함수 피팅

$L(N,D)=E+\frac{A}{N^{\alpha }}+\frac{B}{D^{\beta }}$

여기서 $E$는 이상적인 생성기의 엔트로피, $A,B,\alpha ,\beta$는 피팅 파라미터다. 측정 결과:

• $\alpha \approx 0.34$
• $\beta \approx 0.28$

핵심 결론: 동등 스케일링

세 방법 모두 동일한 결론을 내렸다:

$N_{opt}\propto C^{0.50},D_{opt}\propto C^{0.50}$

즉, 컴퓨팅이 2배 늘어날 때 모델 크기와 데이터 양 모두 $\sqrt{2}$배 늘려야 한다. 이를 간단히 표현하면:

$D_{opt}\approx 20\times N_{opt}$

모델 파라미터 1개당 약 20개의 학습 토큰이 필요하다는 의미다.

아키텍처 / 방법론

Chinchilla는 Gopher와 동일한 트랜스포머 아키텍처를 사용하되, 크기를 4배 줄이고 학습 데이터를 4배 늘렸다:

모델	파라미터	학습 토큰	컴퓨팅(FLOPs)
Gopher	280B	300B	~$6\times 10^{23}$
Chinchilla	70B	1.4T	~$6\times 10^{23}$

동일한 컴퓨팅 예산 하에서 Chinchilla는 Gopher보다 4배 작지만 훨씬 더 많은 토큰으로 학습되었다.

데이터는 MassiveText 데이터셋을 사용했으며, 웹 문서, 책, GitHub, Wikipedia 등이 포함된다.

실험 결과

언어 모델링 성능

The Pile 데이터셋 평가에서:

모델	파라미터	Pile BPB
GPT-3	175B	0.7177
Jurassic-1	178B	0.6878
Gopher	280B	0.6220
Chinchilla	70B	0.5821

다운스트림 태스크

벤치마크	Gopher(280B)	Chinchilla(70B)
MMLU (5-shot)	60.0%	67.6%
BIG-bench avg	54.6%	65.1%
HellaSwag	79.2%	80.8%
LAMBADA	74.5%	77.4%

Chinchilla는 모델이 4배 작음에도 불구하고 거의 모든 태스크에서 Gopher를 능가했다.

기존 연구 재분석

Chinchilla의 스케일링 법칙을 적용했을 때, 당시 존재하던 대부분의 대형 모델이 최적보다 훨씬 적은 데이터로 학습된 것으로 나타났다:

모델	실제 토큰 수	권장 토큰 수
GPT-3 175B	300B	~3.5T
Gopher 280B	300B	~5.6T
MT-NLG 530B	270B	~10.6T

의의 및 한계

의의

1. 효율적 AI 개발의 이론적 근거: Chinchilla 법칙은 이후 Meta의 LLaMA(2023), Mistral, Falcon 등 소규모-고효율 오픈소스 모델 개발의 핵심 원칙이 되었다. LLaMA-65B는 Chinchilla 법칙을 따르면서도 GPT-3.5에 준하는 성능을 달성했다.

2. 추론 비용 절감: 작은 모델은 학습 비용뿐 아니라 추론(inference) 비용도 낮다. 같은 성능이라면 작은 모델이 훨씬 실용적이다.

3. 데이터 중심 AI의 부상: 모델 크기만큼 데이터 품질과 양이 중요하다는 인식이 강해졌다.

한계

1. “20 tokens per parameter” 규칙의 한계: 이 법칙은 단순히 학습 손실 최소화를 기준으로 하며, 추론 효율성을 고려하지 않는다. 실제로 LLaMA 2, Mistral 등은 “추론-최적” 관점에서 Chinchilla 권장량보다 훨씬 더 많은 토큰으로 학습하여 성능을 향상시켰다.

2. 데이터 품질: 토큰 수만 고려하고 데이터 품질의 차이를 반영하지 않는다.

3. 특수 도메인: 코드, 수학, 다국어 등 특수 능력이 필요한 경우 도메인별 데이터 비중이 중요하며, 단순 토큰 수 최적화와 다를 수 있다.