Scaling Data-Constrained Language Models

논문 개요

스케일링 법칙(Scaling Laws)은 언어 모델의 성능이 모델 크기, 학습 데이터, 계산량의 세 가지 요소에 의해 예측 가능하게 향상된다는 것을 보여준다. Hoffmann et al.(2022)의 Chinchilla 법칙에 따르면, 주어진 FLOPs 예산 $C$에서 최적 모델 크기는 $N^{\ast }\approx \sqrt{C/6}$이고, 최적 학습 토큰 수는 $D^{\ast }\approx 20\times N^{\ast }$이다.

그러나 이 법칙은 고품질 학습 데이터가 무한히 공급된다는 가정 하에 성립한다. 현실에서는 특정 도메인(의학, 법률, 코드 등)이나 언어에서 고품질 데이터의 공급이 제한적이며, 더 많은 토큰을 원해도 구할 수 없는 데이터 제약(data-constrained) 상황이 흔하다.

Muennighoff et al.(2023)이 NeurIPS 2023에서 발표한 이 논문은 데이터 제약 상황에서 어떻게 스케일링해야 최적인지를 처음으로 체계적으로 분석하였다. 반복 학습, 데이터 증강, 컴퓨팅 예산 재분배 등의 전략을 비교하고 실용적 가이드라인을 제공한다.

---

핵심 기여

1. 반복 학습 패턴 정량화: 동일 데이터를 $R$번 반복 학습할 때 성능 저하가 $R$에 어떻게 의존하는지를 경험적으로 모델링한다.
2. 확장된 스케일링 공식: 데이터 제약 시나리오를 포함하는 새로운 스케일링 법칙 공식을 유도한다.
3. 데이터 증강 전략 비교: 코드 주석, 번역, 패러프레이징 등 다양한 증강 방법이 반복 학습을 얼마나 완화하는지 분석한다.
4. 실용적 스케일링 권고: 제한된 데이터 예산에서 컴퓨팅을 어떻게 배분해야 하는지에 대한 구체적인 가이드를 제공한다.

---

방법론 상세

문제 설정

학습 데이터 토큰 수의 고유한 수가 $D_{\text{unique}}$이고, 사용하려는 총 학습 토큰 수가 $D_{\text{total}}$이라 하자. 반복 횟수 $R$은:

$R=\frac{D_{\text{total}}}{D_{\text{unique}}}$

Chinchilla 법칙이 권장하는 $D^{\ast }=20N$을 충족하기 위해 필요한 고유 데이터가 없을 때, $R>1$로 동일 데이터를 반복하게 된다.

반복 학습의 손실 페널티 모델링

실험 결과, 반복 학습에 의한 성능 저하는 다음과 같은 경험적 법칙을 따른다:

$L(N,D_{\text{unique}},R)=L(N,D_{\text{unique}},1)+\Delta L(R)$

여기서 $\Delta L(R)$은 반복으로 인한 손실 페널티이며, 실험적으로:

$\Delta L(R)\approx A\cdot (R-1{)}^B$

계수 $A$와 $B$는 데이터 및 모델에 따라 다르지만, 일반적으로 $B<1$ (페널티가 반복 횟수의 거듭제곱 함수보다 느리게 증가)인 경향이 있다.

확장된 스케일링 법칙

Chinchilla 법칙 $L=\frac{A}{N^{\alpha }}+\frac{B}{D^{\beta }}+L_0$를 데이터 제약 시나리오로 확장하면:

$L(N,D_{\text{unique}},R)=\frac{A}{N^{\alpha }}+\frac{B}{(D_{\text{unique}}{)}^{\beta }}+C\cdot \frac{(R-1{)}^{\gamma }}{D_{\text{unique}}^{\delta }}+L_0$

여기서 세 번째 항이 반복 패널티를 나타낸다. 이 공식을 통해 주어진 FLOPs 예산 $C_{\text{compute}}$와 데이터 예산 $D_{\text{unique}}$에서 최적 모델 크기 $N^{\ast }$와 최적 반복 횟수 $R^{\ast }$를 계산할 수 있다.

데이터 증강 전략

반복 학습의 패널티를 줄이기 위한 증강 방법들을 비교하였다:

코드 데이터 증강:

• 변수 이름 변경(variable renaming)
• 주석 제거/추가
• 코드 포맷 변환 (들여쓰기 스타일 등)

자연어 증강:

• 역번역 (back-translation): 영어 → 다른 언어 → 영어
• 패러프레이징 (LLM 기반)
• 요약 및 확장

합성 데이터:

• LLM으로 생성한 새 데이터로 증강

증강된 데이터는 완전히 동일한 반복보다 패널티가 작지만, 증강되지 않은 신선한 데이터보다는 여전히 덜 효과적이다. 효과의 크기는: 신선한 데이터 > 증강 데이터 > 동일 반복.

최적 계산 예산 배분

데이터가 제한될 때 추가 컴퓨팅을 어떻게 배분해야 하는가?

시나리오: FLOPs $C$가 있고 $D_{\text{unique}}<D_{\text{Chinchilla}}^{\ast }$인 경우.

선택지:

1. 더 큰 모델, 동일 데이터 반복: $N\uparrow$, $R\uparrow$
2. 동일 모델, 데이터 증강: $D_{\text{effective}}\uparrow$
3. 더 작은 모델, 더 많은 학습 스텝: $N\downarrow$, $D_{\text{total}}\uparrow$ (반복 포함)

논문의 분석에 따르면:

• 약 4회 반복(R≈4)까지는 성능 저하가 허용 가능 수준
• R > 4에서는 컴퓨팅을 추가로 투자해도 성능 이득이 거의 없음
• 데이터 증강은 R을 효과적으로 낮추는 데 유용

---

실험 결과

반복 학습 실험

모델 크기를 70M ~ 2.8B으로 변화시키며, ROOTS, C4, GitHub 등 다양한 데이터셋에서 반복 학습을 수행하였다.

반복 횟수 R	손실 증가	다운스트림 정확도 변화
1	기준	기준
2	+0.02	-1.2%p
4	+0.05	-3.1%p
8	+0.11	-6.4%p
16	+0.19	-11.2%p

손실 증가는 R에 대해 오목(concave)하게 증가하며, 반복이 많아질수록 추가 반복의 한계 비용이 줄어든다.

데이터 증강 효과

코드 데이터에서의 증강 실험 결과, 증강 데이터로 학습했을 때 동일 반복 대비 HumanEval(코드 생성) 점수가 3~5%p 향상되었다.

Chinchilla vs 데이터 제약 스케일링 비교

동일 FLOPs 예산에서:

• Chinchilla 최적 비율로 학습 가능한 데이터가 충분한 경우: Chinchilla 법칙 따름
• 데이터가 부족한 경우: 확장된 공식으로 R≈2~4로 제한하고 더 큰 모델 선택이 최적

---

의의 및 한계

의의

• 실용적 문제 해결: 데이터 제약은 실제 LLM 개발에서 매우 흔한 상황(특히 저자원 언어, 전문 도메인)이다. 이 논문은 그 상황에서의 최적 전략을 제시한다.
• Chinchilla 법칙 확장: 이전에는 데이터가 충분한 경우만 커버했던 스케일링 법칙을 데이터 제약 시나리오로 일반화하였다.
• 오픈소스 실험 재현: 모든 실험을 BigScience/HuggingFace 인프라 위에서 수행하고 코드와 체크포인트를 공개하였다.

한계

• 데이터셋 한정: 주로 영어 텍스트와 코드 데이터를 사용하여, 다국어나 멀티모달 환경에서의 일반화 여부가 불확실하다.
• 증강 방법의 질 의존성: 데이터 증강의 효과는 증강 방법의 품질에 크게 의존하며, 저품질 증강은 오히려 성능을 해칠 수 있다.
• 도메인 특이성: 최적 반복 횟수 R이 데이터 도메인에 따라 다를 수 있어, 일반화된 권고안 적용에 주의가 필요하다.
• 연속 학습: 이 논문은 처음부터 학습하는 시나리오에 집중하며, 파인튜닝이나 계속학습 시나리오에서의 적용 가능성은 별도로 검증이 필요하다.