DeepSeek-R1: 순수 강화학습으로 o1에 필적하는 추론 AI의 민주화
개요
DeepSeek-R1은 DeepSeek가 2025년 1월 20일 공개한 671B MoE 기반 추론 특화 언어 모델이다. AI 연구사에서 가장 충격적인 발표 중 하나로, 기존 SFT(지도 학습 미세조정) 단계 없이 순수 강화학습(Pure RL)만으로 고급 추론 능력을 달성했다는 점에서 패러다임 전환을 이루었다.
OpenAI o1과 동등 수준의 수학, 코딩, 과학 추론 성능을 보이면서도, MIT 라이선스로 가중치를 완전 오픈소스로 공개하여 추론 AI 연구의 민주화에 크게 기여하였다. 1.5B부터 70B까지 다양한 크기의 증류(distillation) 모델도 함께 공개되었다.
아키텍처 상세
기본 구조 (DeepSeek-V3 계승)
| 구성 요소 | 사양 |
|---|---|
| 전체 파라미터 | 671B |
| 활성 파라미터 | 37B (토큰당) |
| 레이어 수 | 61 |
| 히든 차원 | 7168 |
| 어텐션 헤드 | 128 |
| 전문가 수 | 256 |
| 활성 전문가 | 8 |
| 어휘 크기 | 128,000 |
| 컨텍스트 길이 | 128K |
| 어텐션 | MLA (Multi-Head Latent Attention) |
DeepSeek-R1은 DeepSeek-V3의 아키텍처를 그대로 계승한다. 혁신은 아키텍처가 아닌 훈련 방법론에 있다.
핵심 혁신
1. GRPO 기반 순수 강화학습
DeepSeek-R1의 가장 핵심적인 혁신은 GRPO(Group Relative Policy Optimization) 알고리즘을 사용한 순수 RL 훈련이다. 기존 추론 모델(o1 등)이 대량의 SFT 데이터로 먼저 추론 패턴을 학습시킨 반면, R1은 정답 여부만을 보상으로 사용하여 추론 능력을 자기 발현시킨다.
GRPO의 핵심 수식:
여기서 는 그룹 크기, 는 정책 비율, 는 **그룹 내 상대적 이점(advantage)**이다.
GRPO는 PPO와 달리 별도의 가치 함수(value function)를 학습하지 않고, 같은 프롬프트에 대한 여러 응답의 보상을 상대적으로 비교하여 이점을 추정한다:
2. 보상 설계
R1의 보상은 놀랍도록 단순하다:
- 정확도 보상 (Correctness Reward): 최종 답변이 정답인지만 확인
- 형식 보상 (Format Reward):
<think>...</think>태그 내에 추론 과정을 포함하는지 확인
별도의 과정 보상 모델(Process Reward Model, PRM) 없이 결과 보상(Outcome Reward)만으로 학습한다.
3. 자기 검증(Self-Verification)의 창발
순수 RL 훈련 과정에서 모델은 자연스럽게 다음과 같은 추론 전략을 **자기 발현(emerge)**시켰다:
- Chain-of-Thought: 수천 토큰에 달하는 상세한 사고 과정
- 자기 검증: 중간 결과의 정확성을 자체적으로 검증
- 반성(Reflection): 오류 발견 시 되돌아가 수정
- 전략 전환: 한 접근법이 막히면 다른 방법으로 전환
4. 증류(Distillation) 모델
R1의 추론 능력을 소형 모델로 증류하여 다양한 크기의 모델을 공개:
| 증류 모델 | 기반 | 활성 파라미터 |
|---|---|---|
| R1-Distill-Qwen-1.5B | Qwen 2.5 | 1.5B |
| R1-Distill-Qwen-7B | Qwen 2.5 | 7B |
| R1-Distill-Qwen-14B | Qwen 2.5 | 14B |
| R1-Distill-Qwen-32B | Qwen 2.5 | 32B |
| R1-Distill-LLaMA-8B | LLaMA 3.1 | 8B |
| R1-Distill-LLaMA-70B | LLaMA 3.1 | 70B |
벤치마크/성능
R1 vs o1 핵심 비교
| 벤치마크 | DeepSeek-R1 | OpenAI o1 | 비고 |
|---|---|---|---|
| AIME 2024 | 79.8% | 79.2% | R1 소폭 우세 |
| MATH-500 | 97.3% | 96.4% | R1 우세 |
| GPQA Diamond | 71.5% | 78.1% | o1 우세 |
| Codeforces | 2029 Elo | 1891 Elo | R1 우세 |
| MMLU | 90.8% | 91.8% | o1 소폭 우세 |
| 비용 | ~$0.55/M출력 | ~$60/M출력 | R1이 ~100배 저렴 |
R1-0528 업데이트 성능
2025년 5월 업데이트된 R1-0528은 더욱 향상된 성능을 보인다:
- AIME 2024: 79.8% → 91.4%
- AIME 2025: 70.0% → 87.5%
관련 모델 비교
| 특성 | DeepSeek-R1 | OpenAI o1 | DeepSeek-R1-Zero |
|---|---|---|---|
| 훈련 방법 | Cold-Start + RL + SFT | 미공개 (RL 추정) | 순수 RL만 |
| SFT 사용 | ✅ (최종 단계) | ✅ (추정) | ❌ |
| 가독성 | 양호 | 양호 | 불량 (언어 혼용) |
| 오픈소스 | ✅ (MIT) | ❌ | ✅ (MIT) |
| 증류 모델 | ✅ (1.5B~70B) | ❌ | ❌ |
훈련 파이프라인
R1의 훈련은 4단계로 구성된다:
- DeepSeek-V3 Base: 671B MoE 사전 학습 모델
- Cold-Start 데이터: 소량의 고품질 추론 예시 (수천 개)
- GRPO 강화학습: 정확도 + 형식 보상으로 순수 RL 훈련
- 거부 샘플링 + SFT: RL 모델의 출력 중 고품질 응답을 선별하여 SFT로 가독성 보완
실무 활용
1. 비용 효율적 추론 AI
o1 대비 약 100배 저렴한 비용으로 동등한 추론 성능을 제공한다.
2. 로컬 배포
MIT 라이선스로 오픈소스 공개되어, 기업 내부 추론 AI 시스템을 구축할 수 있다.
3. 증류 모델 활용
1.5B~70B 크기의 증류 모델로 다양한 하드웨어 환경에서 추론 능력을 활용할 수 있다.
4. 수학/과학 교육
MATH-500 97.3%의 성능으로 수학 튜터, 과학 문제 풀이 보조에 적합하다.
한계 및 전망
한계
- 일반 대화 약점: 추론 특화로 인해 일반 대화나 창작에서는 범용 모델 대비 약할 수 있다.
- 추론 비용: 긴 Chain-of-Thought 생성으로 토큰 사용량이 많아진다.
- 언어 혼용: 특히 비영어 입력에서 중국어-영어가 혼용되는 경향이 있다.
- 환각: 추론 과정에서의 자기 확신이 오히려 그럴듯한 오답을 생성할 수 있다.
전망
DeepSeek-R1은 추론 AI의 민주화를 상징하는 모델이다. 순수 RL만으로 추론 능력이 창발한다는 발견은 AI 연구의 방향을 근본적으로 바꾸었으며, MIT 라이선스의 오픈소스 공개는 전 세계 연구자와 기업에게 추론 AI를 활용할 기회를 제공했다. 후속 R1-0528의 급격한 성능 향상은 이 접근법의 잠재력을 보여주며, 향후 더 효율적인 RL 알고리즘과 보상 설계를 통한 지속적 발전이 기대된다.
관련 문서
- DeepSeek-V3 Technical Report — 발전 기반