Finetuned Language Models Are Zero-Shot Learners

논문 개요

GPT-3(Brown et al., 2020)는 몇 가지 예시만으로도 새로운 태스크를 수행하는 퓨샷 학습 능력을 보였지만, 예시 없이 지시만으로 동작하는 제로샷 설정에서는 성능이 크게 떨어졌습니다. 이는 모델이 지시(instruction)의 의미를 충분히 이해하지 못하기 때문입니다.

Wei et al.(2021)은 이 문제를 해결하기 위해 **지시 기반 파인튜닝(instruction finetuning)**을 제안합니다. 핵심 아이디어는 다양한 NLP 태스크를 자연어 지시 형태로 변환한 후, 이 지시들을 따르도록 언어 모델을 파인튜닝하는 것입니다. 이렇게 학습된 모델을 **FLAN(Finetuned LAnguage Net)**이라 부르며, ICLR 2022에 발표되었습니다.

FLAN은 이후 FLAN-T5, FLAN-PaLM 등의 연구로 이어지는 중요한 계보를 형성했으며, 오늘날 지시 튜닝(instruction tuning) 패러다임의 시발점으로 여겨집니다.

핵심 기여

지시 기반 파인튜닝: 62개 NLP 데이터셋을 10가지 클러스터로 분류하고, 각 데이터셋에 대한 자연어 지시 템플릿을 수작업으로 작성하여 학습합니다.
제로샷 우수성 증명: GPT-3(175B)를 퓨샷 설정에서도 능가하는 제로샷 성능을 137B 모델로 달성합니다.
클러스터 제외 실험: 특정 태스크 클러스터를 학습에서 제외하고 테스트함으로써, 진정한 제로샷 일반화 능력을 검증합니다.
지시 파인튜닝의 작동 조건 분석: 충분한 모델 규모(68B 이상)와 태스크 다양성이 지시 파인튜닝 효과의 핵심 조건임을 규명합니다.

방법론 상세

지시 템플릿 설계

62개의 NLP 데이터셋을 12개의 태스크 클러스터로 분류합니다:

자연어 추론(NLI), 독해 이해(Reading Comprehension)
상식 추론(Commonsense Reasoning)
감성 분석(Sentiment Analysis)
단어 의미 분리(WSD)
공통 참조 해석(Coreference Resolution)
번역, 요약, 구조화 데이터-텍스트
대화 등

각 데이터셋에 대해 10개의 서로 다른 자연어 지시 템플릿을 수작업으로 작성합니다. 예를 들어 NLI 태스크에서:

템플릿 1: “{premise}라는 전제에서, ‘{hypothesis}‘라는 가설은 참인가, 거짓인가, 아니면 알 수 없는가?”
템플릿 2: ”‘{hypothesis}‘가 ‘{premise}‘를 함의한다면 ‘예’라고 답하고, 그렇지 않으면 ‘아니오’라고 답하세요.”

이처럼 같은 태스크를 다양한 방식으로 표현함으로써 모델이 지시의 의도를 더 깊이 이해하도록 합니다.

학습 설정

FLAN은 Google의 LaMDA-PT(137B) 모델을 파인튜닝합니다. 학습 시 테스트에 사용될 태스크 클러스터는 완전히 제외됩니다:

$D_{train} = {(p_{k} (x_{i}), y_{i}) : cluster (x_{i}) \neq = c}$

여기서 $c$ 는 테스트 클러스터, $p_{k}$ 는 $k$ 번째 프롬프트 템플릿입니다.

학습 목표는 표준 언어 모델링 손실입니다:

$L = - \sum_{t = 1}^{∣ y ∣} lo g P (y_{t} ∣ p (x), y_{< t})$

평가 방법

제로샷 평가에서 FLAN은 지시만 제공받고 예시 없이 태스크를 수행합니다. GPT-3의 퓨샷 설정과 직접 비교합니다.

실험 결과

GPT-3 대비 성능

25개의 데이터셋 중 20개에서 FLAN(137B)이 GPT-3(175B) 퓨샷을 제로샷으로 능가합니다.

태스크 유형	GPT-3 (few-shot)	FLAN (zero-shot)
NLI (평균)	50.8	73.5
Reading Comp.	74.4	79.3
감성 분류	91.2	93.1
상식 추론	71.2	69.6

특히 NLI 같이 지시를 따르는 능력이 중요한 태스크에서 큰 폭의 성능 향상이 관찰됩니다.

모델 규모의 임계 효과

지시 파인튜닝의 효과는 모델 규모에 따라 크게 달라집니다:

8B 이하: 지시 파인튜닝이 오히려 제로샷 성능을 낮추거나 거의 효과 없음
68B: 제로샷 성능 향상 시작
137B: 가장 큰 향상

이는 모델이 충분히 커야 지시의 의미를 이해하고 활용할 수 있음을 의미합니다. 규모 $N$ 에 따른 지시 파인튜닝 이득 $Δ$ 를 근사하면:

$Δ (N) \approx α \cdot lo g (N) - β$

여기서 $α, β$ 는 태스크 의존적 상수이며, 충분히 큰 $N$ 에서만 $Δ > 0$ 이 됩니다.

태스크 다양성의 중요성

학습 태스크 수를 7개 클러스터에서 12개로 늘릴수록 제로샷 성능이 단조 증가합니다. 이는 더 다양한 태스크를 경험할수록 일반적인 지시 따르기 능력이 향상됨을 의미합니다.

분류 vs. 생성 포맷

출력이 고정 레이블 집합 중 하나를 선택하는 분류 형식 vs. 자유 형식 생성을 비교했을 때, 분류 태스크에서는 두 방식이 유사한 성능을 보입니다.

FLAN-T5와 이후 발전

원래 FLAN은 LaMDA-PT 모델을 사용했지만, 이후 Google은 T5 모델 계열에 동일한 지시 파인튜닝을 적용한 FLAN-T5를 발표합니다. FLAN-T5는:

공개 모델(오픈소스)로 제공
훨씬 더 많은 태스크(1800+ 태스크)와 프롬프트로 학습
체인 오브 소트(Chain-of-Thought) 프롬프팅 데이터도 포함

또한 FLAN-PaLM은 540B PaLM 모델에 FLAN 방식을 적용하여 당시 최고 성능을 달성합니다.

의의 및 한계

의의

지시 튜닝 패러다임의 확립: FLAN은 “태스크를 자연어 지시로 표현하고, 이 지시를 따르도록 학습시키면 일반화 가능하다”는 패러다임을 처음으로 체계적으로 검증했습니다.

InstructGPT/ChatGPT의 전신: FLAN의 지시 튜닝 아이디어는 OpenAI의 InstructGPT(2022)와 ChatGPT에도 적용되었습니다(RLHF와 결합).

효율적 스케일링: 175B GPT-3보다 작은 137B 모델이 더 나은 제로샷 성능을 보임으로써, 규모보다 학습 방식이 중요함을 증명합니다.

연구 접근성: 지시 튜닝 아이디어와 방법론을 공개하여 수많은 후속 연구(Alpaca, Vicuna, FLAN-UL2 등)의 토대가 되었습니다.

한계

비공개 모델: LaMDA-PT는 공개되지 않아 재현이 어렵습니다. 이 한계를 극복한 것이 오픈소스 FLAN-T5입니다.
수작업 템플릿: 각 데이터셋에 대한 지시 템플릿을 수작업으로 작성해야 하므로 확장이 어렵습니다. 이후 연구들은 LLM으로 자동 생성하는 방향으로 발전합니다.
복잡한 추론 미흡: 수학적 추론, 코드 생성 등 복잡한 추론이 필요한 태스크에서는 여전히 큰 개선이 필요합니다. 이는 이후 Chain-of-Thought 프롬프팅 연구로 이어집니다.
RLHF 미적용: 인간 선호도 정렬(RLHF) 없이 순수 지시 파인튜닝만으로는 안전하고 도움이 되는 응답을 보장하기 어렵습니다.

도형준 지식 볼트

탐색기