Operator (CUA): AI 에이전트 프레임워크

Operator (CUA): OpenAI의 컴퓨터 사용 에이전트

OpenAI · 2025-01-23 · Browser Agent · 상용 (ChatGPT Pro)

개요

Operator는 OpenAI가 2025년 1월 공개한 컴퓨터 사용 에이전트(CUA, Computer-Using Agent)로, 웹 브라우저를 조작해 실제 온라인 작업을 자율적으로 수행한다. GPT-4o의 멀티모달 능력을 기반으로, 스크린샷으로 현재 브라우저 상태를 파악하고 클릭, 입력, 스크롤 등의 액션을 통해 여행 예약, 온라인 쇼핑, 폼 작성 등 복잡한 웹 기반 작업을 처리한다.

Anthropic의 Computer Use가 개발자를 위한 API로 제공된 반면, OpenAI는 Operator를 ChatGPT Plus/Pro 구독자를 위한 독립된 제품으로 출시하여 일반 사용자의 접근성을 높였다. 이는 AI 에이전트 기술을 연구/개발 영역에서 일상적 활용 영역으로 확장하려는 OpenAI의 전략을 반영한다.

Operator의 핵심 차별점은 제품화된 안전 시스템에 있다. 브라우저 자동화는 결제, 로그인, 개인정보 입력 등 민감한 작업을 수반하므로, 단순한 GUI 조작 능력만으로는 실용화가 어렵다. Operator는 RLHF 기반의 안전 장치를 통해 민감한 상황을 자동으로 인식하고 사용자에게 제어를 넘기는 메커니즘을 갖추었다. 이 “안전한 자율성”이 Operator를 일반 사용자 대상 제품으로 만든 핵심 요소다.

아키텍처 상세

CUA 모델은 GPT-4o를 기반으로 브라우저 상호작용에 특화된 파인튜닝이 적용된 전용 모델이다.

관찰-행동 루프

Operator의 핵심 동작 원리는 다음과 같다.

$s_t=\text{Screenshot}({\text{Browser}}_t)$ $a_t=\text{CUA}(s_t,s_{t-1},...,s_1,\text{goal})$ ${\text{Browser}}_{t+1}=\text{Execute}(a_t,{\text{Browser}}_t)$

1. 브라우저 화면의 스크린샷 $s_t$를 캡처
2. CUA 모델이 스크린샷 시퀀스를 분석하여 현재 상태 이해
3. 목표 달성을 위한 다음 액션 $a_t$ 결정
4. 액션 실행 후 새 스크린샷 캡처
5. 작업 완료 또는 사용자 개입이 필요할 때까지 반복

안전 장치(Safety Guardrails)

Operator의 중요한 차별점은 민감한 상황에서의 안전 장치다.

상황	Operator 행동	기존 RPA
결제 페이지 도달	자동으로 사용자에게 확인 요청	그대로 진행
비밀번호 입력 필요	사용자에게 제어를 넘김	스크립트에 하드코딩
CAPTCHA 발생	사용자에게 해결 요청	실패/중단
모호한 선택지	사용자의 의도를 재확인	임의 선택
예상 외 팝업	상황 판단 후 대응	에러/중단

이 안전 시스템은 RLHF(Reinforcement Learning from Human Feedback)를 통해 학습되었으며, 민감한 작업에서의 적절한 개입 요청 능력이 핵심이다.

멀티스텝 워크플로

사용자: "뉴욕행 항공편을 검색해서 가장 저렴한 것을 알려줘"

Operator 실행:
+-- Google Flights 접속
+-- 출발지: 서울 (ICN), 도착지: 뉴욕 (JFK) 입력
+-- 날짜 선택 (캘린더 위젯 조작)
+-- 검색 실행
+-- 결과 정렬 (가격순)
+-- 상위 3개 옵션 정보 추출
+-- 스크린샷과 함께 사용자에게 보고
    "가장 저렴한 항공편은 XX항공 $X,XXX입니다."

Operator는 단순 클릭을 넘어 복잡한 다단계 워크플로를 처리한다.

• 여러 사이트를 비교하며 최적의 옵션 탐색
• 폼의 여러 필드를 순차적으로 채우기
• 검색 결과를 필터링하고 정렬
• 여러 탭을 활용한 병렬 정보 수집

핵심 혁신

1. 제품화된 에이전트 경험: API가 아닌 완성된 제품으로 제공하여, 프로그래밍 지식 없이도 AI 에이전트를 활용할 수 있게 했다. 이는 AI 에이전트의 대중화를 위한 핵심 전환점이다.

2. 적응적 안전 시스템: 결제, 로그인 등 민감한 작업에서 자동으로 사용자에게 제어를 넘기는 RLHF 기반 안전 시스템. “어디까지 자율적으로 하고, 어디서 인간에게 물어야 하는가”를 학습했다.

3. 브라우저 특화 최적화: 범용 데스크톱 자동화가 아닌 브라우저에 집중함으로써, 레이턴시 최적화와 정확도를 높였다. 웹 기반 작업이 일상 업무의 대부분을 차지한다는 점에서 실용적 선택이다.

4. 실시간 화면 공유: 사용자가 Operator의 브라우저 화면을 실시간으로 볼 수 있어, 작업 과정을 투명하게 모니터링할 수 있다.

벤치마크/성능

시스템	작업 범위	WebArena	안전 장치	접근 방식
Operator (CUA)	웹 브라우저	당시 최고	RLHF 기반	제품형
Computer Use	풀 데스크톱	OSWorld 14.9%	개발자 구현	API형
Manus	범용	GAIA 1위	내장	클라우드형

CUA 모델은 WebArena 벤치마크에서 당시 최고 성능을 기록했다. WebArena는 실제 웹사이트를 대상으로 다단계 웹 작업(쇼핑, 정보 검색, 콘텐츠 관리)을 평가한다.

구현

온라인 쇼핑 보조: “아마존에서 무선 키보드를 검색해서 평점 4.5 이상, $50 이하인 제품 3개를 비교해줘”와 같은 복잡한 쇼핑 작업을 자동화한다.

여행 계획: 항공편 검색, 호텔 비교, 렌터카 예약 등 여러 사이트에 걸친 여행 계획 수립을 자동화한다.

데이터 수집: 여러 웹사이트에서 특정 정보를 수집하고 정리하는 작업을 자동화한다. 경쟁사 가격 모니터링, 뉴스 클리핑 등에 활용된다.

관련 모델

Operator는 GPT-4o에서 발전한 CUA 전용 파인튜닝 모델이다. Anthropic의 Computer Use에서 영감을 받되, 브라우저 특화와 제품화된 안전 시스템으로 차별화했다. OpenAI는 CUA 모델을 API로도 제공하여 개발자들이 자체 제품에 통합할 수 있게 했다.

참고 자료

• OpenAI Blog: Introducing Operator
• CUA API Documentation

관련 문서

• GPT-4o — 발전 기반
• Claude Computer Use — 영감