What Language Model Architecture and Pretraining Objective Work Best for Zero-Shot Generalization?

논문 개요

“What Language Model Architecture and Pretraining Objective Work Best for Zero-Shot Generalization?”(2022, ICML)는 Hugging Face와 여러 기관의 Thomas Wang 등이 발표한 연구로, LLM 설계의 두 핵심 축인 아키텍처 선택과 사전학습 목표 선택이 제로샷 일반화에 미치는 영향을 최초로 통제된 비교 실험으로 분석한 연구다.

이 연구 이전에는 GPT 계열(디코더-온리 + CLM)과 T5 계열(인코더-디코더 + MLM) 등이 각각 독립적으로 개발되고 서로 다른 데이터·규모에서 학습되어, 아키텍처와 사전학습 목표 중 어느 요인이 성능에 더 영향을 미치는지 명확하지 않았다. 이 논문은 동일한 데이터, 동일한 파라미터 수, 동일한 학습 예산 하에서 조합을 비교하여 공정한 비교를 달성했다.

핵심 기여

1. 체계적 아블레이션: 아키텍처 3종 × 사전학습 목표 3종 = 9가지 조합을 동일 조건에서 비교.
2. 멀티태스크 프롬프트 파인튜닝(MTF)의 중요성 규명: 사전학습 목표·아키텍처보다 MTF 여부가 제로샷 성능에 더 큰 영향을 미침을 밝힘.
3. 인코더-디코더 + MLM의 우위 확인: 동일 파라미터 수에서 인코더-디코더가 디코더-온리보다 제로샷 성능이 우수.
4. T0 모델 공개: T5-3B를 기반으로 멀티태스크 파인튜닝한 T0 모델과 코드를 오픈소스로 공개.

방법론 상세

1. 비교 대상 아키텍처

디코더-온리 (Decoder-only)

• causal attention 사용
• 입력과 출력을 단일 시퀀스로 처리
• 대표 모델: GPT 계열, OPT, LLaMA

Encoder-Decoder

• 인코더: 양방향 어텐션으로 입력 인코딩
• 디코더: 단방향 어텐션으로 출력 생성 + 크로스 어텐션
• 대표 모델: T5, BART, mT5

인코더-온리 (Encoder-only)

• 양방향 어텐션
• 분류·이해 태스크에 주로 사용
• 대표 모델: BERT, RoBERTa

2. 비교 대상 사전학습 목표

언어 모델링 (CLM, Causal Language Modeling)

${\mathcal{L}}_{\text{CLM}}=-{\sum }_{i=1}^n\log P(x_i|x_1,\dots ,x_{i-1})$

왼쪽에서 오른쪽으로 다음 토큰 예측. 디코더-온리 아키텍처에 자연스럽게 대응.

마스크 언어 모델링 (MLM, Masked Language Modeling)

${\mathcal{L}}_{\text{MLM}}=-{\sum }_{i\in \mathcal{M}}\log P(x_i|x_{\setminus \mathcal{M}})$

입력의 $m$%를 무작위 마스킹하고 양방향 문맥으로 복원. T5는 연속된 스팬(span)을 마스킹하는 Span-MLM 사용.

프리픽스 LM (PrefixLM)

${\mathcal{L}}_{\text{Prefix}}=-{\sum }_{i=k+1}^n\log P(x_i|x_1,\dots ,x_{i-1})$

앞부분($x_1,\dots ,x_k$)은 양방향 어텐션, 뒷부분은 단방향 어텐션. UniLM, PaLM이 채택.

3. 실험 설계

• 모델 크기: 약 1억 파라미터(~100M) 수준에서 모든 조합 비교
• 사전학습 데이터: C4 (Colossal Clean Crawled Corpus), 동일 데이터 사용
• 멀티태스크 프롬프트 파인튜닝(MTF): P3(Public Pool of Prompts) 데이터셋으로 35개 이상 태스크를 프롬프트 형태로 파인튜닝
• 평가: 11개의 홀드아웃(held-out) 태스크에서 제로샷 평가 (BIG-Bench 포함)

4. 동일 파라미터 수 맞추기

아키텍처 간 공정한 비교를 위해 인코더-디코더 모델의 인코더와 디코더 각각의 크기를 조정하여 총 파라미터 수를 디코더-온리와 동일하게 맞췄다. 예를 들어, 디코더-온리 100M과 비교하는 인코더-디코더는 인코더 50M + 디코더 50M 구성.

실험 결과

주요 발견 1: MTF가 가장 큰 요인

어떤 아키텍처/목표 조합이든, MTF 파인튜닝 여부가 제로샷 성능에 가장 큰 영향을 미쳤다. MTF 적용 모델은 미적용 모델보다 평균 15-25%p 높은 제로샷 정확도를 보였다.

주요 발견 2: 인코더-디코더가 제로샷에서 우위

동일 파라미터 수에서:

아키텍처	MTF 전 (0-shot)	MTF 후 (0-shot)
디코더-온리 + CLM	41.2%	58.7%
인코더-디코더 + MLM	44.1%	64.3%
인코더-디코더 + PrefixLM	43.5%	62.8%

인코더-디코더 + MLM(Span masking)이 MTF 후 최고 성능.

주요 발견 3: 사전학습 목표보다 아키텍처 영향이 큼

동일 아키텍처 내에서 CLM/MLM/PrefixLM 간 성능 차이(~2-3%p)보다, 아키텍처 간 성능 차이(~5-6%p)가 더 크다.

의의 및 한계

의의

• 설계 지침 제공: 제로샷 일반화를 목표로 하는 경우, 인코더-디코더 아키텍처 + 멀티태스크 파인튜닝이 최선의 선택임을 실험으로 확인.
• T0 모델 기여: 공개된 T0는 GPT-3 없이도 강력한 제로샷 성능을 보이며, 이후 FLAN, InstructGPT 연구의 출발점이 됨.
• 공정한 비교 방법론 확립: LLM 비교 연구에서 통제 변수 설정의 중요성을 강조.

한계

• 소규모 모델 실험: 100M 파라미터 수준의 실험이라 10B+ 스케일에서의 결론이 다를 수 있다.
• 영어 중심 평가: 다국어 제로샷 일반화는 별도로 분석되지 않았다.
• 프롬프트 민감성: MTF의 효과가 프롬프트 형식에 크게 의존할 수 있다.
• 최신 모델 미포함: LLaMA, Mistral 등 이후 등장한 효율적 디코더-온리 모델은 비교 대상에 없다.