Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference

논문 개요

대규모 언어 모델(LLM)의 급격한 발전과 함께, 모델들의 실제 성능을 공정하게 비교하는 문제가 중요해졌습니다. 기존의 고정 벤치마크(MMLU, HumanEval, GSM8K 등)는 몇 가지 근본적인 한계를 가지고 있습니다:

벤치마크 오염(Benchmark Contamination): 모델이 사전학습 시 벤치마크 데이터를 이미 접했을 가능성이 있어 공정한 비교가 어렵습니다.
실용성 괴리: 고정 벤치마크의 점수가 실제 사용자 경험과 반드시 일치하지 않습니다.
다양성 부족: 제한된 수의 태스크만 다루므로, 실제 사용 사례의 다양성을 반영하지 못합니다.
자동 평가 한계: 정답이 고정되지 않은 개방형 생성 태스크를 자동으로 평가하기 어렵습니다.

Chatbot Arena는 이 문제들을 해결하기 위해 Berkeley AI Research(BAIR)가 구축한 크라우드소싱 기반 평가 플랫폼입니다. ICML 2024에 발표된 이 논문은 플랫폼의 설계 원칙, 통계적 방법론, 그리고 대규모 평가에서 얻은 인사이트를 체계적으로 정리합니다.

핵심 기여

블라인드 쌍별 비교 프레임워크: 사용자가 모델 이름을 모르는 상태에서 두 모델의 응답을 비교하여 선호하는 쪽을 투표합니다. 이는 모델 브랜드 편향을 제거합니다.
Elo 레이팅 적용: 체스 레이팅에서 사용되는 Elo 시스템을 LLM 평가에 적용하여 동적으로 업데이트되는 모델 순위를 제공합니다.
대규모 실사용 데이터: 1백만 건 이상의 실제 사용자 대화와 투표를 수집하여 통계적으로 신뢰할 수 있는 평가를 수행합니다.
다양성 분석: 투표 데이터를 분석하여 다양한 언어, 도메인, 질문 유형에 걸친 모델 성능 차이를 파악합니다.

방법론 상세

플랫폼 설계

Chatbot Arena의 사용자 경험은 다음과 같이 이루어집니다:

사용자가 질문 또는 대화 시작 메시지를 입력합니다.
시스템이 무작위로 선택된 두 모델에게 동일한 입력을 전달합니다.
두 모델의 응답이 나란히 표시되지만, 어떤 모델이 어느 쪽인지 표시되지 않습니다.
사용자가 더 나은 응답을 선택하거나 동점(tie)을 선택합니다.
투표 후 모델 이름이 공개됩니다.

이 블라인드 설계는 사용자의 모델 선호도 편향을 제거합니다.

Elo 레이팅 시스템

Elo 레이팅은 원래 체스에서 개발된 방법으로, 두 플레이어 간의 상대적 실력을 동적으로 추정합니다.

모델 $A$ 가 모델 $B$ 를 이길 확률은:

$P (A > B) = \frac{1}{1 + 1 0 ^{(R_{B} - R_{A}) /400}}$

여기서 $R_{A}, R_{B}$ 는 각 모델의 현재 Elo 점수입니다.

투표 결과에 따라 점수를 업데이트합니다. 모델 $A$ 가 이겼을 때:

$R_{A}^{'} = R_{A} + K \cdot (1 - P (A > B))$ $R_{B}^{'} = R_{B} + K \cdot (0 - P (B > A))$

여기서 $K$ 는 업데이트 크기를 제어하는 하이퍼파라미터입니다. Chatbot Arena에서는 $K = 4$ 를 기본값으로 사용합니다.

Bradley-Terry 모델

Elo 레이팅의 통계적 기반인 Bradley-Terry 모델을 사용하여 최대 우도 추정(MLE)으로 모델 강도를 추정합니다:

$P (i beats j) = \frac{e ^{β_{i}}}{e ^{β_{i}} + e ^{β_{j}}}$

여기서 $β_{i}$ 는 모델 $i$ 의 강도 파라미터입니다. 전체 투표 데이터로부터 MLE를 구합니다:

$\hat{β} = ar g max_{β} \prod_{(i, j, w) \in D} P (w ∣ β_{i}, β_{j})$

$D$ 는 (모델 A, 모델 B, 승자) 트리플의 집합입니다.

신뢰구간 추정

부트스트랩 방법을 사용하여 각 모델의 Elo 점수에 대한 신뢰구간을 추정합니다. 전체 투표 데이터에서 복원 추출로 여러 부트스트랩 샘플을 생성하고, 각 샘플에서 Elo를 계산하여 95% 신뢰구간을 산출합니다.

$CI_{95%} = [\hat{R}_{2.5 th %}, \hat{R}_{97.5 th %}]$

실험 결과 및 인사이트

주요 발견

상업 모델 우위: GPT-4, Claude 3 Opus 같은 상업 모델들이 오픈소스 모델보다 인간 선호도에서 일관되게 높은 순위를 기록합니다.

자동 벤치마크와의 불일치: MMLU, HumanEval 등 자동 벤치마크 순위와 Arena Elo 순위 사이에 상당한 불일치가 존재합니다. 특히 대화 능력, 창의성, 지시 따르기 등의 측면은 자동 벤치마크가 잘 포착하지 못합니다.

태스크 다양성: 1M+ 투표는 코딩, 수학, 창의적 글쓰기, 일반 지식, 역할극 등 매우 다양한 실제 사용 사례를 포함합니다.

언어별 차이: 영어 이외의 언어에서는 모델 간 상대적 순위가 달라지는 경우가 있습니다. 일부 오픈소스 모델은 특정 언어에서 상업 모델보다 우수한 성능을 보이기도 합니다.

통계적 신뢰성

약 1000~2000건의 투표가 있어야 모델 간 통계적으로 유의미한 비교가 가능합니다. 투표 수가 적은 모델은 넓은 신뢰구간을 가지며, 순위의 불확실성이 큽니다.

두 모델 간의 통계적 유의성 검정:

$z = \frac{R ^ _{A} - R ^ _{B}}{Var ( R ^ _{A} ) + Var ( R ^ _{B} )}$

이 $z$ 값이 충분히 크면(예: $∣ z ∣ > 1.96$ ) 두 모델 간의 차이가 통계적으로 유의합니다.

편향 분석

논문은 여러 가지 잠재적 편향을 분석합니다:

위치 편향: 왼쪽에 표시된 응답을 선호하는 경향이 약하게 존재합니다.
길이 편향: 더 긴 응답을 선호하는 경향이 있으나, 모델 품질 차이에 비해 효과가 작습니다.
자기 평가 편향: 논문은 이 플랫폼에서 발생할 수 없는 편향이지만, 유사 방법론에서 나타날 수 있는 문제를 논의합니다.

의의 및 한계

의의

실용적 평가의 표준: Chatbot Arena는 실제 사용자의 선호도를 기반으로 하는 가장 신뢰할 수 있는 LLM 평가 플랫폼 중 하나로 자리잡았습니다. LMSYS Leaderboard는 연구자와 산업계 모두에서 참조하는 중요한 기준이 되었습니다.

벤치마크 오염 문제 해결: 사용자가 실시간으로 생성하는 질문들은 미리 오염될 수 없으므로, 벤치마크 데이터 누출 문제를 원천적으로 방지합니다.

크라우드소싱의 힘: 수백만 건의 인간 평가를 저비용으로 수집하여, 전문가 평가 대비 훨씬 큰 스케일의 평가를 가능하게 합니다.

도메인별 리더보드: 코딩, 수학, 창의적 글쓰기 등 도메인별 리더보드를 제공하여 모델 선택에 실용적인 정보를 제공합니다.

한계

사용자 편향: 플랫폼 사용자가 전체 사용자 집단을 대표하지 않을 수 있습니다. 기술적 사용자(개발자, 연구자)가 과도하게 대표될 수 있습니다.
언어 불균형: 영어 질문이 압도적으로 많아, 다국어 성능 평가가 불균형합니다.
조작 가능성: 특정 모델을 운영하는 기업이 전략적으로 투표를 조작할 유인이 있습니다.
복잡한 태스크 평가 어려움: 코딩이나 수학처럼 명확한 정답이 있는 태스크에서도 일반 사용자가 어떤 응답이 더 정확한지 판단하기 어려울 수 있습니다.
시간 변화: 모델이 업데이트되거나 새로운 버전이 출시되면 과거 투표 결과가 구식이 될 수 있습니다.

도형준 지식 볼트

탐색기