DeepSeek-R1-Zero: SFT 없이 순수 RL만으로 추론이 창발한 최초의 대규모 모델
개요
DeepSeek-R1-Zero는 DeepSeek-R1 논문(arXiv:2501.12948)에서 함께 공개된 실험적 모델로, AI 연구사에서 가장 중요한 발견 중 하나를 담고 있다. 이 모델은 지도 학습 미세조정(SFT) 데이터를 전혀 사용하지 않고, 순수 강화학습만으로 수학 올림피아드 수준의 추론 능력을 학습한 최초의 대규모 모델이다.
실용적 배포를 위한 모델은 아니지만(가독성 문제, 언어 혼용 등), 강화학습이 LLM 추론 능력의 독자적인 원천임을 실증하여, AI 연구의 방향을 근본적으로 바꾸는 데 기여하였다.
아키텍처 상세
기본 구조
R1-Zero는 DeepSeek-V3의 아키텍처를 그대로 사용한다:
| 구성 요소 | 사양 |
|---|---|
| 전체 파라미터 | 671B |
| 활성 파라미터 | 37B (토큰당) |
| 레이어 수 | 61 |
| 히든 차원 | 7168 |
| 어텐션 | MLA (Multi-Head Latent Attention) |
| 전문가 수 | 256 |
| 활성 전문가 | 8 |
| 컨텍스트 길이 | 128K |
아키텍처의 혁신이 아닌, 훈련 방법론의 혁신이 이 모델의 핵심이다.
핵심 혁신
1. 순수 강화학습 (Zero SFT)
R1-Zero의 가장 근본적인 혁신은 훈련 파이프라인에서 SFT 단계를 완전히 제거한 것이다:
기존 접근법 (o1 등):
R1-Zero 접근법:
이는 인간이 설계한 CoT(Chain-of-Thought) 예시가 추론 능력의 필수 조건이 아니며, RL만으로도 충분히 복잡한 추론 전략이 자연 발현될 수 있음을 보여준다.
2. ‘아하 모먼트(Aha Moment)‘의 창발
R1-Zero 훈련 과정에서 관찰된 가장 인상적인 현상은 ‘아하 모먼트’이다. 이는 모델이 RL 훈련 중 자발적으로 다음과 같은 행동을 발전시키는 순간을 의미한다:
- 멈춤과 재평가: 추론 중 잠시 멈추고 현재 접근법을 재평가
- 오류 감지: 자신의 추론 과정에서 오류를 스스로 발견
- 전략 전환: 현재 접근법이 실패할 것 같으면 완전히 다른 방법으로 전환
- 자기 수정: 발견한 오류를 자체적으로 수정
이러한 행동은 인간이 가르치지 않았으며, 순수하게 “정답을 맞히면 보상”이라는 단순한 신호만으로 창발한 것이다.
3. 사고 과정 길이의 자기 조절
R1-Zero는 문제의 난이도에 따라 사고 과정의 길이를 자동으로 조절한다:
- 간단한 문제: 짧은 CoT (수백 토큰)
- 복잡한 문제: 긴 CoT (수천 토큰)
이는 테스트 시간 컴퓨트 스케일링(test-time compute scaling)의 자연스러운 형태로, RL이 이를 자동으로 학습한 것이다.
4. GRPO 보상 설계
R1-Zero의 보상은 극도로 단순하다:
- : 최종 답변의 정답 여부 (결과 보상)
- : 지정된 형식 준수 여부
과정 보상(Process Reward Model, PRM)은 사용하지 않는다. 중간 추론 단계의 정확성을 직접 평가하지 않고, 최종 결과만으로 학습하는데도 정교한 추론 과정이 창발한다.
벤치마크/성능
AIME 2024 성능 변화
| 훈련 단계 | AIME 2024 (pass@1) | AIME 2024 (majority voting) |
|---|---|---|
| V3 Base (RL 전) | 15.6% | - |
| R1-Zero (RL 후) | 71.0% | 86.7% |
| OpenAI o1-0912 | 74.4% | 83.3% |
| DeepSeek-R1 | 79.8% | - |
RL 훈련만으로 AIME 2024 점수가 **15.6% → 71.0%**로 급증한 것은 놀라운 결과이다. Majority voting(86.7%)을 적용하면 o1(83.3%)을 초과한다.
주요 벤치마크 비교
| 벤치마크 | R1-Zero | R1 | o1-mini |
|---|---|---|---|
| AIME 2024 | 71.0% | 79.8% | 63.6% |
| MATH-500 | 95.9% | 97.3% | 90.0% |
| 가독성 | 불량 | 양호 | 양호 |
| 언어 일관성 | 낮음 | 높음 | 높음 |
관련 모델 비교
| 특성 | R1-Zero | R1 | o1 |
|---|---|---|---|
| SFT 사용 | ❌ | ✅ (Cold-Start + 최종) | ✅ (추정) |
| RL 알고리즘 | GRPO | GRPO | 미공개 |
| 보상 타입 | 결과 보상만 | 결과 보상만 | 미공개 (PRM 추정) |
| 목적 | 연구 실증 | 실용 모델 | 상용 모델 |
| 가독성 | 불량 | 양호 | 양호 |
| 오픈소스 | ✅ (MIT) | ✅ (MIT) | ❌ |
훈련 파이프라인
- 기반 모델: DeepSeek-V3 Base (SFT 없는 사전 학습 모델)
- GRPO 강화학습: 수학, 코딩, 논리 문제를 중심으로 수만 회 이상의 RL 스텝
- 보상: 정답 여부(정확도 보상) + 형식 준수(형식 보상)
- 별도 후처리 없음: SFT나 거부 샘플링 없이 RL 결과를 그대로 사용
실무 활용
1. 연구 기반 모델
R1-Zero는 실용보다는 연구 목적으로 설계되었다. RL 기반 추론 연구의 출발점으로 활용할 수 있다.
2. RL 훈련 실험
순수 RL만으로 추론 능력이 창발하는 메커니즘을 연구하는 데 적합하다.
3. 증류 교사 모델
R1-Zero의 추론 궤적을 증류하여 소형 모델의 추론 능력을 향상시킬 수 있다.
한계 및 전망
한계
- 가독성 문제: SFT 없이 RL만으로 훈련되어, 출력의 가독성이 매우 떨어진다.
- 언어 혼용: 영어, 중국어, 기타 언어가 하나의 응답에서 무작위로 혼용된다.
- 형식 불일치: 답변 형식이 일관되지 않아 자동 평가가 어렵다.
- 실용성 부족: 위의 문제들로 인해 실제 배포에는 적합하지 않다.
‘아하 모먼트’ 논쟁
최근 연구에서는 R1-Zero의 ‘아하 모먼트’가 RL 훈련에서 진정으로 창발하는 것인지, 아니면 이미 사전 학습 모델에 잠재되어 있던 능력이 RL에 의해 활성화된 것인지에 대한 논쟁이 진행 중이다. Sea AI Lab의 연구에 따르면, 자기 반성 패턴이 epoch 0(RL 훈련 전)에도 이미 존재한다는 관찰이 있다.
전망
R1-Zero는 실용적 모델이 아닌 **개념 증명(proof of concept)**이지만, AI 연구에 미친 영향은 막대하다. 순수 RL로 추론이 창발한다는 발견은:
- SFT 데이터 구축의 부담을 줄일 수 있는 가능성
- 인간이 설계하지 않은 새로운 추론 전략의 발견 가능성
- RL의 스케일링 법칙에 대한 새로운 연구 방향
을 열었으며, 이는 향후 AI 추론 연구의 핵심 참고 자료로 남을 것이다.
관련 문서
- DeepSeek-V3 Technical Report — 발전 기반