AgentBench: Evaluating LLMs as Agents

논문 개요

LLM을 단순 대화 모델로 사용하는 것을 넘어, 실제 환경에서 자율적으로 행동을 계획하고 실행하는 **에이전트(agent)**로 활용하려는 시도가 활발해지고 있습니다. ReAct, AutoGPT, LangChain 등의 프레임워크가 LLM 기반 에이전트의 가능성을 보여주었지만, 이러한 에이전트 능력을 체계적으로 평가하는 벤치마크는 부재했습니다.

AgentBench(Liu et al., 2023)는 이 공백을 메우기 위해 설계된 최초의 포괄적 LLM 에이전트 벤치마크입니다. ICLR 2024에 발표된 이 논문은 8가지 서로 다른 환경에서 LLM의 에이전트 능력을 평가하고, 27개 LLM(상업 모델과 오픈소스 모델 포함)을 종합 비교합니다.

핵심 발견은 충격적입니다: GPT-4 같은 최고급 상업 모델과 오픈소스 모델 사이에는 에이전트 과제에서 매우 큰 성능 격차가 존재합니다. 이는 대화 능력과 에이전트 능력이 서로 다른 역량임을 시사합니다.

핵심 기여

1. 8가지 다양한 환경 구축: 운영체제, 데이터베이스, 웹 브라우징, 웹 쇼핑, 디지털 게임, 지식 그래프, 가정 로봇, 카드 게임 등 실제 세계와 가상 세계를 아우르는 다양한 에이전트 환경을 구성합니다.

2. 대규모 LLM 비교: GPT-4, GPT-3.5, Claude, Gemini 등 상업 모델과 LLaMA-2, Vicuna, Mistral 등 오픈소스 모델 총 27개를 체계적으로 평가합니다.

3. 에이전트 성능 격차 정량화: 최고 성능 모델(GPT-4)과 하위 오픈소스 모델 사이의 극적인 성능 차이를 명확히 수치화합니다.

4. 실패 모드 분석: 에이전트 과제에서 LLM이 실패하는 주요 패턴(루프, 잘못된 행동 형식, 오류 복구 실패 등)을 분석합니다.

방법론 상세

에이전트 과제 정의

AgentBench의 각 에이전트 과제는 다음 구성 요소로 정의됩니다:

$\mathcal{T}=(\mathcal{S},\mathcal{A},T,R,s_0,g)$

• $\mathcal{S}$: 상태 공간 (State space)
• $\mathcal{A}$: 행동 공간 (Action space)
• $T:\mathcal{S}\times \mathcal{A}\to \mathcal{S}$: 전이 함수 (Transition function)
• $R:\mathcal{S}\times \mathcal{A}\to \mathbb{R}$: 보상 함수 (Reward function)
• $s_0$: 초기 상태 (Initial state)
• $g$: 목표 (Goal)

에이전트(LLM)는 관찰 $o_t$를 받아 행동 $a_t$를 생성하는 정책 $\pi$를 수행합니다:

$a_t=\pi (o_t,h_{<t})$

여기서 $h_{<t}=(o_1,a_1,\dots ,o_{t-1},a_{t-1})$은 이전 상호작용 이력입니다.

8가지 평가 환경

1. OS (운영체제) 리눅스 터미널에서 bash 명령을 실행하여 파일 시스템 조작, 프로세스 관리, 네트워킹 등의 과제를 수행합니다. 예: “/home/user 디렉토리에서 5MB 이상의 .log 파일을 모두 삭제하세요.”

2. DB (데이터베이스) MySQL 데이터베이스에서 SQL 쿼리를 작성하고 실행하여 데이터 조회, 수정, 분석 과제를 수행합니다. 복잡한 조인, 집계, 서브쿼리 등을 포함합니다.

3. KG (지식 그래프) Freebase 또는 Wikidata 같은 대규모 지식 그래프를 탐색하여 복잡한 다단계 질문에 답합니다. SPARQL 유사 쿼리를 생성해야 합니다.

4. WebShop 전자상거래 시뮬레이션 환경에서 특정 요구사항(가격, 색상, 크기 등)을 충족하는 상품을 검색하고 구매합니다.

5. Mind2Web (웹 브라우징) 실제 웹 환경에서 다단계 탐색 과제를 수행합니다. 링크 클릭, 폼 작성, 버튼 클릭 등의 행동을 포함합니다.

6. House Holding (가정 로봇) 가상 가정 환경(ALFWorld 기반)에서 물체를 집고, 이동시키고, 지정된 위치에 놓는 등의 과제를 수행합니다.

7. Digital Card Game 전략적 카드 게임에서 상대방을 이기기 위한 행동을 선택합니다. 게임 규칙 이해와 전략적 사고가 필요합니다.

8. Lateral Thinking Puzzle 제한된 예/아니오 질문으로 수수께끼를 풀어내는 과제입니다. 추론 능력과 정보 수집 전략이 필요합니다.

평가 프로토콜

각 환경별 성공 기준과 점수 계산 방식이 다릅니다:

• OS, DB: 최종 시스템 상태가 목표 상태와 일치하는지 검사
• KG, WebShop: F1 점수 또는 성공률
• Card Game: 승률 또는 점수 비율

최종 AgentBench 점수는 환경별 점수의 가중 평균입니다:

$\text{Score}={\sum }_{e\in \mathcal{E}}{w}_e\cdot {\text{Score}}_e$

실험 결과

모델 간 성능 비교

상업 모델 압도적 우위:

모델	종합 점수	OS	DB	WebShop
GPT-4	3.47	8.06	4.20	50.7
GPT-3.5	1.51	4.26	2.50	39.5
Claude-2	1.14	3.88	1.90	35.0
LLaMA-2-70B	0.26	0.38	0.20	12.2
Vicuna-33B	0.28	0.41	0.25	14.1

GPT-4와 최고 성능 오픈소스 모델 사이의 격차는 10배 이상입니다. 이는 대화 벤치마크에서 관찰되는 격차보다 훨씬 크며, 에이전트 능력이 별도의 역량 차원임을 보여줍니다.

실패 모드 분석

오픈소스 모델들의 주요 실패 패턴:

1. 무한 루프: 동일한 잘못된 행동을 반복하며 오류에서 회복하지 못합니다.
2. 형식 오류: 환경이 요구하는 행동 형식(JSON, 특정 커맨드 구문 등)을 지속적으로 틀립니다.
3. 맥락 관리 실패: 긴 상호작용 이력에서 관련 정보를 추적하지 못합니다.
4. 환경 이해 부족: 현재 상태를 잘못 해석하여 부적절한 행동을 선택합니다.

환경별 특성

• OS, DB: 정확한 명령/쿼리 구문 지식이 필수. GPT-4도 완벽하지 않음.
• WebShop: 자연어 이해와 탐색 전략이 결합 필요. 중간 규모 모델도 일정 수준 성능.
• Card Game: 순수 전략적 추론 능력. 모델 규모와 성능 상관관계 강함.

의의 및 한계

의의

에이전트 평가의 새로운 기준: AgentBench는 LLM을 단순 언어 생성 모델이 아닌 행동 가능한 에이전트로 평가하는 최초의 포괄적 벤치마크로, 에이전트 AI 연구의 발전 방향을 제시합니다.

실용적 격차 발견: 대화 벤치마크에서는 좁혀지는 것처럼 보이는 상업/오픈소스 모델 격차가 에이전트 과제에서는 여전히 매우 크다는 것을 발견합니다. 이는 에이전트 능력을 향상시키기 위한 별도의 연구가 필요함을 시사합니다.

다양한 환경의 가치: 단일 환경이 아닌 8가지 서로 다른 환경을 사용함으로써, 특정 환경에 과적합된 모델이 좋은 점수를 받는 것을 방지합니다.

오픈소스 커뮤니티 기여: 벤치마크와 평가 코드를 공개하여 에이전트 모델 개발 및 평가 연구를 가속화합니다.

한계

• 영어 중심: 모든 과제가 영어로 구성되어 있어, 다국어 에이전트 능력은 평가하지 않습니다.
• 시뮬레이션 한계: 실제 환경의 모든 복잡성을 완전히 재현하기 어려우며, 시뮬레이션에서의 성공이 실제 배포에서의 성공을 보장하지 않습니다.
• 계산 비용: 8가지 환경에서 여러 에이전트 상호작용을 평가하는 데 상당한 계산 자원이 필요합니다.
• 동적 변화: 웹 환경은 시간이 지남에 따라 변하므로, 동일 과제의 재현성이 낮을 수 있습니다.
• 인간 수준과의 비교 부재: 인간 전문가(예: 리눅스 전문가, SQL 전문가)와의 직접 비교가 없어 절대적 성능 수준을 평가하기 어렵습니다.