개요
RLHF(Reinforcement Learning from Human Feedback)는 언어 모델을 인간의 선호에 맞게 정렬하는 효과적인 방법이지만, 대규모 인간 레이블링이 필요하고 레이블러의 주관적 판단에 의존합니다. 특히 유해한 콘텐츠에 대한 레이블링은 레이블러에게 심리적 부담을 줄 수 있습니다.
Constitutional AI(CAI)는 이 문제를 AI 자체의 피드백으로 해결합니다. 인간이 정의한 원칙 집합(헌법)을 바탕으로 AI가 스스로 출력을 비판하고, 비판에 기반하여 수정하며, 최종적으로는 인간 레이블 없이도 유해성을 판단할 수 있습니다.
배경 및 문제
RLHF의 한계
표준 RLHF 파이프라인:
- 인간 비교 데이터 수집 (무해하고 유용한 응답 쌍 선택)
- 보상 모델 학습
- PPO를 통한 정책 최적화
이 과정에서의 문제점:
- 대규모 인간 레이블링 비용: 무해성 판단에만 수천~수만 개의 라벨 필요
- 레이블러 편향: 개인마다 무해성 기준이 다름
- 확장성 한계: 모델이 더 능력 있어질수록 인간이 판단하기 어려운 응답 생성
- 심리적 부담: 유해한 응답에 반복 노출되는 레이블러의 wellbeing 문제
확장 가능한 감독(Scalable Oversight)
CAI의 근본 동기는 미래의 초지능적 AI 시스템에서 인간 감독의 한계를 극복하는 것입니다. AI가 더 능력 있어질수록 AI 피드백으로 감독을 확장하는 접근법이 필요합니다.
핵심 아이디어
헌법 (Constitution)
16개의 원칙으로 구성된 헌법은 AI가 따라야 할 행동 규범을 명시합니다. 예시:
- “인종, 성별, 종교 등에 따른 차별적 내용을 포함하지 마세요”
- “어린이에게 유해한 내용을 생성하지 마세요”
- “타인을 속이거나 조작하는 방식으로 도움을 주지 마세요”
- “유엔 인권선언에 기반하여 사람의 존엄성을 존중하세요”
원칙들은 구체적 규칙보다 높은 수준의 가치를 서술하여 다양한 상황에 유연하게 적용됩니다.
방법론
CAI는 두 단계로 진행됩니다: SL-CAI(지도학습)와 RL-CAI(강화학습).
단계 1: SL-CAI (Supervised Learning from AI Feedback)
1-1. 유해한 프롬프트에 대한 초기 응답 생성
적대적 프롬프트(harmful prompt)를 사용하여 초기 모델(헬퍼 AI)의 응답을 수집합니다. 이 응답들은 유해할 수 있습니다.
1-2. AI 비판 (Critique)
헌법에서 랜덤하게 선택한 원칙을 바탕으로, 모델에게 자신의 응답을 비판하도록 지시합니다:
“아래 원칙에 따라 이전 응답이 문제가 있는 부분을 식별하고 설명하세요: [원칙]”
1-3. AI 수정 (Revision)
비판을 바탕으로 응답을 수정합니다:
“이전 비판을 고려하여 응답을 수정하세요. 원칙을 위반하지 않으면서도 도움이 되도록 개선하세요.”
비판-수정 사이클을 여러 번 반복하여 최종 수정된 응답으로 지도학습 파인튜닝합니다.
단계 2: RL-CAI (Reinforcement Learning from AI Feedback)
2-1. 비교 데이터 AI 생성
SL-CAI 모델이 동일 프롬프트에 대해 두 가지 응답 후보를 생성합니다.
2-2. AI 선호도 판단 (RLAIF)
피드백 모델(별도의 판단 모델)이 헌법 원칙을 바탕으로 두 응답 중 더 무해하고 유용한 것을 선택합니다:
“다음 두 응답 중 [원칙]을 더 잘 따르는 것은 무엇인가요?”
2-3. 보상 모델 및 PPO 학습
AI가 생성한 선호도 데이터로 보상 모델을 학습하고, PPO를 통해 정책을 최적화합니다. 이 단계에서는 무해성 레이블링을 위한 인간 개입이 불필요합니다.
SL-CAI vs RL-CAI 역할 비교
| 단계 | 목적 | 인간 개입 | 주요 방법 |
|---|---|---|---|
| SL-CAI | 유해한 응답 수정 능력 학습 | 헌법 작성만 | 비판-수정 반복 |
| RL-CAI | 무해성-유용성 균형 최적화 | 없음 | RLAIF + PPO |
실험 결과
무해성 vs 유용성 트레이드오프
Anthropicの 내부 평가(Crowdworker 기준):
| 모델 | 무해성 점수 | 유용성 점수 | 비고 |
|---|---|---|---|
| RLHF (유용성만) | 낮음 | 높음 | 유해한 질문에 답변 |
| RLHF (무해성+유용성) | 높음 | 중간 | 과도한 거부 발생 |
| SL-CAI | 높음 | 중간 | |
| RL-CAI | 높음 | 높음 | 균형 달성 |
레드팀(Red-teaming) 평가
- RL-CAI 모델은 RLHF 기반 무해 모델 대비 유해한 응답 생성 비율이 크게 감소
- 동시에 무고한 질문에 대한 불필요한 거부(false refusal)도 감소
- “도움은 되지만 무해한” 모델의 특성을 달성
RLAIF vs RLHF 비교
- AI 피드백 기반 보상 모델이 인간 피드백 기반 보상 모델과 비교 가능한 수준의 성능 달성
- 수천 개의 인간 무해성 레이블을 대체 가능
의의 및 한계
의의
- 확장 가능한 감독: AI 피드백으로 인간 감독의 병목을 완화하는 실용적 경로 제시
- 투명성: 원칙 기반 접근으로 AI의 행동 이유를 명시적으로 설명 가능
- 산업 영향: Claude(Anthropic)의 핵심 정렬 기술로 실제 배포
- RLAIF 개척: AI 피드백 기반 강화학습의 초기 주요 연구
- 비판-수정 프레임: 자기 개선(self-improvement) AI 연구의 선구자
한계
- 헌법의 품질과 범위에 강하게 의존: 잘못 설계된 헌법은 의도치 않은 편향 유발 가능
- AI 피드백 자체가 모델의 편향을 반영할 수 있어 완전한 인간 감독 대체는 불가
- 새로운 유형의 유해성(novel harms)에 대해 헌법이 사전 정의되어 있지 않으면 대응 어려움
- 비판-수정 반복의 계산 비용이 표준 파인튜닝보다 높음