Detecting Pretraining Data from Large Language Models

논문 개요

“Detecting Pretraining Data from Large Language Models”(2024, ICLR)는 워싱턴 대학의 Weijia Shi 등이 발표한 연구로, LLM이 특정 텍스트를 사전학습 데이터로 사용했는지 여부를 탐지하는 방법론을 제안한다. 이 문제는 멤버십 추론 공격(Membership Inference Attack, MIA)의 한 형태로, 저작권 보호, 개인정보 감사, 벤치마크 데이터 오염 탐지 등에 직접적으로 활용된다.

LLM의 학습 데이터 구성은 대부분 공개되지 않으며, 모델 자체에서 어떤 텍스트가 사용되었는지를 외부에서 검증할 방법이 없었다. 이 논문은 모델 가중치만 접근 가능한 블랙박스 설정에서도 작동하는 탐지 방법을 제안하며, 기존 멤버십 추론 방법들이 LLM에서 잘 동작하지 않는 이유를 분석한다.

핵심 기여

WIKIMIA 벤치마크 구축: 위키피디아 편집 이력을 활용하여, 모델 학습 시점 이전/이후에 작성된 문서를 멤버/비멤버 레이블로 사용하는 평가 데이터셋을 구성한다.
MIN-K% PROB 방법 제안: 텍스트 내 확률이 가장 낮은 $k$ %의 토큰들의 평균 로그 확률을 탐지 스코어로 사용하는 간단하고 효과적인 방법.
기존 방법 실패 원인 분석: 평균 퍼플렉서티 기반 방법이 LLM에서 실패하는 이유를 이론적으로 분석.
다양한 LLM 검증: GPT-3, LLaMA, OPT, Pythia 등 다양한 모델에서 MIN-K%의 우수성을 실험으로 검증.

방법론 상세

1. 문제 정의

텍스트 시퀀스 $x = (x_{1}, x_{2}, \dots, x_{n})$ 이 주어질 때, 이 시퀀스가 모델 $f$ 의 사전학습 데이터 $D_{train}$ 에 포함되는지 판별하는 이진 분류 문제다:

$h (x) = {10 if x \in D_{train} otherwise$

2. 기존 방법의 한계

퍼플렉서티(Perplexity) 기반 방법은 텍스트의 평균 로그 확률로 멤버십을 판별한다:

$score_{ppl} (x) = \frac{1}{n} \sum_{i = 1}^{n} lo g P_{f} (x_{i} ∣ x_{1 : i - 1})$

이 방법은 이론적으로 그럴듯하나, 실제 LLM에서는 두 가지 이유로 실패한다:

분포 외(OOD) 데이터 문제: 비멤버 텍스트도 학습 도메인과 유사하면 낮은 퍼플렉서티를 가질 수 있다.
고빈도 패턴 편향: 자주 등장하는 구문은 멤버/비멤버 여부와 무관하게 높은 확률을 갖는다.

3. MIN-K% PROB

논문의 핵심 아이디어는 학습 데이터 내 텍스트는 저확률 토큰도 상대적으로 높은 확률을 가지고, 비멤버 텍스트는 저확률 토큰이 매우 낮은 확률을 가진다는 관찰에 기반한다.

구체적으로, 각 토큰의 로그 확률 $p_{i} = lo g P_{f} (x_{i} ∣ x_{1 : i - 1})$ 를 계산하고, 이를 정렬하여 하위 $k$ %의 토큰들만 선택한다:

$MIN- k % PROB (x) = \frac{1}{∣ S _{k} ∣} \sum_{i \in S_{k}} p_{i}$

여기서 $S_{k} = {i : p_{i} \leq k 번째 백분위수}$ 이다.

직관: 암기된(memorized) 텍스트는 드문 단어나 특이한 구문도 정확히 재현하는 경향이 있어, 저확률 위치에서도 비교적 높은 확률을 가진다. 반면 비멤버 텍스트는 저확률 토큰 위치에서 확률이 급격히 낮아진다.

4. WIKIMIA 벤치마크

LLM의 학습 데이터 구성을 알 수 없다는 문제를 해결하기 위해, 위키피디아의 편집 타임스탬프를 활용한다:

멤버: 모델 학습 시점(예: 2023년 1월) 이전에 생성된 위키피디아 문서
비멤버: 모델 학습 시점 이후에 새로 생성된 위키피디아 문서

이 방법은 “그라운드 트루스” 멤버십 레이블을 얻기 어려운 문제에 대한 창의적인 해결책이다.

실험 결과

AUC-ROC 비교 (WIKIMIA 벤치마크)

방법	GPT-3 AUC	LLaMA-65B AUC
Perplexity	0.57	0.53
Zlib Entropy	0.61	0.58
Lowercase	0.59	0.55
MIN-K% PROB (k=20)	0.72	0.67

MIN-K%가 모든 기존 방법을 일관되게 능가한다.

k 값에 따른 민감도

$k = 20$ %(하위 20% 토큰 사용)에서 최적 성능을 보이며, $k$ 가 너무 낮으면(소수 토큰만) 분산이 커지고, 너무 높으면(전체 평균에 가까워짐) 구별력이 떨어진다.

벤치마크 오염 탐지

GSM8K, MMLU 등 인기 벤치마크 데이터가 LLaMA 학습 데이터에 포함되었는지를 MIN-K%로 분석한 결과, 일부 벤치마크 데이터가 학습에 포함되었을 가능성이 높음을 시사하는 결과를 얻었다.

의의 및 한계

의의

개인정보 감사: 개인 데이터가 LLM에 노출되었는지 감사하는 데 활용 가능하다.
벤치마크 무결성 검증: 평가 데이터셋 오염 여부를 탐지하여 공정한 평가를 지원한다.
단순한 구현: 추가 학습 없이 모델 로그 확률만으로 작동한다.

한계

탐지 정확도의 한계: AUC 0.72 수준으로, 개별 샘플에 대한 확실한 판단보다는 통계적 경향성 분석에 적합하다.
긴 텍스트 의존성: 짧은 텍스트(수 문장)에서는 신뢰도가 크게 떨어진다.
모델별 편차: 모델 아키텍처와 학습 방식에 따라 탐지 성능이 달라진다.
적대적 공격 취약성: 원본 텍스트를 약간 변형하면 탐지를 우회할 수 있다.
화이트박스 설정 미지원: 내부 활성화(activation)나 그래디언트 정보를 활용하는 더 강력한 방법은 연구되지 않았다.

도형준 지식 볼트

탐색기