Scaling Laws for Neural Language Models

개요

2020년 OpenAI가 발표한 「Scaling Laws for Neural Language Models」는 대규모 언어 모델(LLM) 연구의 방향을 근본적으로 바꾼 논문이다. 핵심 주장은 단순하면서도 강력하다: 언어 모델의 성능(cross-entropy loss)은 모델 파라미터 수 $N$, 학습 데이터 토큰 수 $D$, 학습 연산량 $C$ 각각에 대해 멱함수(power-law) 형태의 매끄러운 스케일링 관계를 따른다. 이 발견은 모델을 실제로 학습하기 전에 성능을 예측하고, 제한된 컴퓨팅 예산 안에서 최적의 설계 결정을 내릴 수 있게 해준다.

배경 및 문제 정의

20182019년 GPT, BERT, GPT-2 등의 대형 언어 모델들이 등장하면서 “더 크면 더 좋다”는 경험적 관찰이 누적되었다. 하지만 구체적으로 얼마나 크게 만들어야 하는가, 데이터는 얼마나 필요한가, 어느 시점에 학습을 멈춰야 하는가 등의 질문에 대한 정량적 답변은 없었다. 모델 깊이(depth)와 너비(width) 중 무엇을 우선해야 하는지도 불분명했다. Kaplan et al.은 이러한 실용적 물음들에 체계적으로 답하기 위해 수십 개의 소규모중규모 모델을 학습시키며 스케일링 관계를 측정했다.

핵심 아이디어

멱함수 스케일링 법칙

모델 파라미터 수 $N$이 충분히 클 때(임베딩 파라미터 제외), 테스트 손실은 다음과 같은 멱함수 관계를 따른다:

$L(N)\approx {\left(\frac{N_c}{N}\right)}^{{\alpha }_N}$

여기서 $N_c$는 상수이고 ${\alpha }_N\approx 0.076$이다. 데이터 크기 $D$에 대해서도 유사하게:

$L(D)\approx {\left(\frac{D_c}{D}\right)}^{{\alpha }_D}$

${\alpha }_D\approx 0.095$. 학습 컴퓨팅 $C$에 대해서는:

$L(C)\approx {\left(\frac{C_c}{C}\right)}^{{\alpha }_C}$

${\alpha }_C\approx 0.057$. 이 세 관계는 서로 독립적이며, 각각 여러 자릿수에 걸쳐 놀랍도록 일정하게 성립한다.

병목 현상과 결합 법칙

실제 학습에서는 세 요소가 동시에 작용한다. 데이터나 컴퓨팅이 충분치 않으면 모델 크기를 늘려도 성능 향상이 제한된다. 이를 결합하면:

$L(N,D)\approx {\left[{\left(\frac{N_c}{N}\right)}^{\frac{{\alpha }_N}{{\alpha }_D}}+\frac{D_c}{D}\right]}^{{\alpha }_D}$

이 식은 $N$이 커지더라도 $D$가 고정되면 손실이 일정 수준 이하로 내려가지 않는 **데이터 한계(data cliff)**를 표현한다.

최적 컴퓨팅 배분

고정된 컴퓨팅 예산 $C$에서 최적의 모델 크기 $N_{opt}$는:

$N_{opt}\propto C^{0.73}$

즉, 컴퓨팅이 늘어날수록 모델 크기를 키우는 것이 데이터를 늘리는 것보다 더 효율적이라는 결론이 나온다 (이 결론은 이후 Chinchilla 논문에서 수정된다).

아키텍처 / 방법론

실험에는 트랜스포머 기반 언어 모델이 사용되었으며, 모델 크기는 $10^3$ ~ $10^9$ 파라미터 범위에 걸쳐 있다. 깊이(레이어 수)와 너비(히든 차원)를 독립적으로 변화시키면서 측정했다.

주요 발견:

• 모델 형태는 크게 중요하지 않다: 같은 파라미터 수라면 깊이와 너비의 비율이 달라도 성능 차이가 미미하다.
• 학습률 스케줄이 결과에 영향을 미친다: 코사인 디케이(cosine decay) 사용 시 최종 손실에서 스케일링 법칙이 더 깨끗하게 관찰된다.
• 과적합은 $N/D$ 비율로 결정된다: $D\gg N$이면 거의 발생하지 않는다.

샘플 효율성

대형 모델은 소형 모델보다 토큰 당 더 많이 배운다. 같은 loss를 달성하는 데 훨씬 적은 데이터와 스텝이 필요하다. 이는 실용적으로 매우 중요한데, 컴퓨팅 예산이 고정될 때 단일 에폭(epoch) 또는 그 이하로만 학습하더라도 큰 모델이 유리하다는 뜻이다.

실험 결과

요소	스케일링 지수	범위
파라미터 수 $N$	${\alpha }_N\approx 0.076$	$10^3\sim 10^9$
데이터 크기 $D$	${\alpha }_D\approx 0.095$	$10^9\sim 10^{11}$ 토큰
컴퓨팅 $C$	${\alpha }_C\approx 0.057$	$10^{12}\sim 10^{21}$ FLOPs

이 관계는 transformer 구조, 데이터셋 종류, optimizer 등에 걸쳐 일관되게 관찰되었다. 특히 손실의 로그-로그 스케일에서 직선 관계가 여러 자릿수에 걸쳐 유지되는 것은 매우 인상적이다.

의의 및 한계

의의

이 논문은 LLM 연구를 공학적 예측 가능성의 영역으로 끌어올렸다. GPT-3(2020), PaLM(2022), GPT-4(2023) 등 이후 등장한 대형 모델들은 모두 이 스케일링 법칙에 기반하여 설계되었다. “더 크면 더 좋다”는 직관을 정량화하여, 학습 전 성능 예측과 자원 배분이 가능해졌다.

한계

1. Chinchilla 수정: 2022년 Hoffmann et al.은 동일한 컴퓨팅 예산에서 Kaplan et al.이 제안한 것보다 모델을 작게 유지하고 데이터를 더 많이 사용하는 것이 최적임을 보였다. Kaplan et al.의 실험이 학습 토큰 수를 고정하지 않아 데이터 관련 스케일링이 과소평가되었기 때문이다.
2. 태스크 특이성: 스케일링 법칙은 cross-entropy loss 기준이며, 실제 다운스트림 태스크 성능은 불연속적으로 향상되는 **창발적 능력(emergent abilities)**을 보이기도 한다.
3. 아키텍처 종속성: MoE(Mixture of Experts), state space model 등 비-표준 구조에서는 스케일링 지수가 달라질 수 있다.