ARES: An Automated Evaluation Framework for Retrieval-Augmented Generation Systems

논문 개요

검색 증강 생성(Retrieval-Augmented Generation, RAG) 시스템은 외부 지식 베이스에서 관련 문서를 검색하여 LLM의 응답 품질을 높입니다. 그러나 RAG 시스템의 성능을 평가하는 것은 그 자체로 매우 어려운 문제입니다. 기존 평가 방식은 크게 두 가지 문제를 안고 있습니다.

첫째, 인간 평가는 정확하지만 비용이 많이 들고 확장성이 없습니다. 수천 개의 응답을 전문가가 일일이 검토하는 것은 현실적이지 않습니다. 둘째, GPT-4 등 상용 LLM 직접 호출은 비용이 높고 재현성이 낮으며, 특정 스타일이나 길이에 편향된 평가를 내릴 수 있습니다.

ARES(Automated RAG Evaluation System)는 이 두 문제를 동시에 해결하는 자동화 평가 프레임워크로, NAACL 2024에 발표되었습니다. 핵심 아이디어는 소량의 인간 레이블 데이터로 경량 LLM 판별자를 파인튜닝하고, 예측 기반 추론(Prediction-Powered Inference, PPI)을 활용해 통계적으로 신뢰 가능한 평가 점수를 도출하는 것입니다.

핵심 기여

3축 평가 지표 체계화: RAG 시스템의 품질을 Context Relevance, Answer Faithfulness, Answer Relevance 세 가지 독립적인 축으로 분리하여 측정합니다. 각 축은 RAG 파이프라인의 서로 다른 구성 요소(검색기, 생성기)에 대응됩니다.
합성 학습 데이터 생성: 인간 레이블 없이도 판별자를 초기 학습시키기 위해, GPT-3.5/4를 활용하여 양성(positive)·음성(negative) 쌍으로 구성된 합성 학습 데이터를 자동 생성합니다.
예측 기반 추론(PPI) 적용: 소수의 인간 레이블과 다수의 LLM 예측을 결합하여, 통계적으로 유효한 신뢰구간을 추정합니다.
도메인 적응성: 특정 도메인(의료, 법률, 코드 등)에 맞춘 판별자 파인튜닝을 지원합니다.

방법론 상세

3가지 평가 지표

Context Relevance (문맥 관련성) 검색된 문서(컨텍스트)가 사용자 질문과 얼마나 관련이 있는지를 측정합니다.

$CR (q, d) = 1 [d 는 q 에 답하는 데 관련 있음]$

이 지표는 검색 컴포넌트의 품질을 직접 반영합니다. 관련 없는 문서를 검색해 왔다면, 이후 생성 단계가 아무리 뛰어나도 답변의 품질이 저하됩니다.

Answer Faithfulness (응답 충실성) 생성된 응답이 제공된 컨텍스트 문서에 근거하고 있는지 측정합니다. Hallucination 탐지와 직결되는 지표입니다.

$AF (a, d) = 1 [a 의 모든 주장이 d 에서 지지됨]$

모델이 컨텍스트에 없는 내용을 지어내거나, 컨텍스트와 모순되는 응답을 생성하면 이 점수가 낮아집니다.

Answer Relevance (응답 관련성) 생성된 응답이 사용자의 원래 질문에 얼마나 잘 답하는지 측정합니다.

$AR (a, q) = 1 [a 는 q 에 올바르게 답함]$

세 지표를 종합하면 RAG 시스템의 전체 품질을 다각도로 평가할 수 있습니다.

판별자 파인튜닝 파이프라인

1단계: 합성 데이터 생성

대상 도메인의 문서 코퍼스를 바탕으로, GPT-3.5/4를 활용하여 (질문, 컨텍스트, 응답) 트리플을 자동 생성합니다. 특히 음성 예시(관련 없는 컨텍스트, 충실하지 않은 응답 등)를 의도적으로 만들어내어 판별자가 부정적 사례도 학습할 수 있도록 합니다.

2단계: 경량 LLM 파인튜닝

DeBERTa-v3-large(약 400M 파라미터) 같은 경량 인코더 모델을 합성 데이터로 파인튜닝합니다. 이진 분류 헤드를 추가하여 각 지표에 대한 판별자를 개별적으로 학습합니다:

$L = - \frac{1}{N} \sum_{i = 1}^{N} [y_{i} lo g \overset{y}{^}_{i} + (1 - y_{i}) lo g (1 - \overset{y}{^}_{i})]$

3단계: 예측 기반 추론(PPI)

소수의 인간 레이블 $n$ 개와 다수의 모델 예측 $N$ 개를 결합하여 신뢰구간을 추정합니다. PPI의 핵심 아이디어는 모델 예측의 편향을 인간 레이블로 보정하는 것입니다:

$\overset{μ}{^}^{PP I} = \frac{1}{N} \sum_{i = 1}^{N} f (x_{i}) + \frac{1}{n} \sum_{j = 1}^{n} (y_{j} - f (x_{j}))$

여기서 $f (x_{i})$ 는 모델의 예측값, $y_{j}$ 는 인간 레이블입니다. 이를 통해 $1 - α$ 신뢰구간을 다음과 같이 구성합니다:

$[\overset{μ}{^}^{PP I} \pm z_{1 - α /2} \cdot \overset{σ}{^}^{PP I}]$

$\overset{σ}{^}^{PP I}$ 는 편향 보정 항의 분산 추정치입니다. 이 방법을 통해 수백 개의 인간 레이블만으로도 수천 개의 평가 포인트에 대한 신뢰 가능한 통계적 추론이 가능합니다.

전체 ARES 파이프라인

도메인 코퍼스
    ↓
합성 데이터 생성 (LLM 활용)
    ↓
판별자 파인튜닝 (DeBERTa 등)
    ↓
RAG 시스템 출력 스코어링
    ↓
PPI로 신뢰구간 추정
    ↓
최종 평가 리포트 (CR / AF / AR 점수 + 신뢰구간)

실험 결과

판별자 성능

ARES의 파인튜닝된 판별자는 GPT-4를 직접 프롬프팅하는 방식과 비교하여 동등하거나 우수한 인간-판별자 일치율을 보입니다. 특히 도메인 특화 데이터셋(KILT, Natural Questions, HotpotQA 등)에서 GPT-4 기반 평가보다 높은 상관관계를 달성합니다.

Spearman 상관계수 $ρ$ 를 기준으로, ARES 판별자와 인간 평가자 간 상관관계는 대부분 0.7 이상을 기록하며, 일부 데이터셋에서는 0.85를 상회합니다.

PPI의 효과

소수의 인간 레이블(~150개)만으로 통계적으로 유효한 신뢰구간(95%)을 추정할 수 있음을 실험으로 보입니다. 이는 완전 수동 평가 대비 약 10배 이상의 비용 절감을 의미합니다.

다양한 RAG 시스템 비교

ARES를 활용하여 다양한 검색 모듈(BM25, DPR, Contriever)과 생성 모델(GPT-3.5, LLaMA-2, Mistral)의 조합을 체계적으로 비교합니다. 실험 결과는 검색 모듈의 선택이 Context Relevance에 큰 영향을 미치고, 생성 모델의 선택은 Answer Faithfulness에 더 결정적임을 보여줍니다.

의의 및 한계

의의

ARES는 RAG 시스템 평가에 있어 다음과 같은 중요한 기여를 합니다:

자동화와 신뢰성의 결합: 완전 자동화된 평가이면서도 통계적 신뢰구간을 제공하여, 단순 점수 이상의 정보를 전달합니다.
도메인 적응: 의료, 법률, 코드 등 특수 도메인에 맞게 판별자를 쉽게 커스터마이징할 수 있습니다.
오픈소스: 코드와 학습된 판별자를 공개하여 연구 커뮤니티가 즉시 활용할 수 있습니다.
LLM-as-Judge 편향 극복: 대형 모델이 길고 유창한 응답을 선호하는 편향을 파인튜닝으로 완화합니다.

한계

합성 데이터 품질 의존성: 합성 데이터 생성에 사용된 LLM의 편향이 판별자에 전이될 수 있습니다.
이진 레이블의 한계: 현재 프레임워크는 이진 분류(관련/비관련) 방식을 사용하므로, 부분적 관련성이나 세밀한 품질 차이를 포착하기 어렵습니다.
다국어 지원 미흡: 주로 영어 기반으로 설계되어, 한국어 등 비영어권 RAG 시스템 평가에 직접 적용하기 어렵습니다.
멀티홉 추론: 여러 문서에 걸친 복잡한 추론이 필요한 경우(multi-hop QA)에서의 평가 정확도가 낮을 수 있습니다.

도형준 지식 볼트

탐색기