도형준 지식 볼트

GPT-4o: 멀티모달 AI 모델

9 min read

GPT-4o: 네이티브 멀티모달의 새로운 기준

개요

GPT-4o(“o”는 “omni”를 의미)는 2024년 5월 OpenAI가 발표한 네이티브 멀티모달 모델이다. 기존 GPT-4V가 텍스트 LLM에 별도의 비전 모듈을 연결하여 이미지를 처리한 파이프라인 방식이었다면, GPT-4o는 텍스트, 이미지, 오디오를 처음부터 통합하여 단일 엔드-투-엔드 모델로 학습한 진정한 네이티브 멀티모달 모델이다.

가장 주목할 만한 능력은 실시간 음성 대화이다. 평균 320ms의 응답 지연시간으로 사람과 대화하는 것과 유사한 속도를 달성하며, 음성의 감정, 톤, 웃음, 노래 등 비언어적 특성을 이해하고 생성할 수 있다. 기존 ChatGPT의 음성 모드가 음성→텍스트→LLM→텍스트→음성의 3단계 파이프라인이었던 것과 달리, GPT-4o는 오디오를 직접 처리하여 중간 변환에서 손실되던 감정과 뉘앙스 정보를 보존한다.

128K 컨텍스트 윈도우와 함께 시각적 이해, 코드 생성, 복잡한 추론에서 GPT-4 Turbo와 동등한 성능을 유지하면서, 속도는 2배 빠르고 비용은 50% 절감된다.

아키텍처 상세

추정 아키텍처 (비공개)

OpenAI는 GPT-4o의 상세 아키텍처를 공개하지 않았으나, 공개된 정보와 연구 커뮤니티의 분석을 종합하면:

  1. 통합 토큰 공간: 텍스트, 이미지 패치, 오디오 프레임이 모두 동일한 토큰 공간에 매핑
  2. 단일 트랜스포머: 모든 모달리티가 하나의 트랜스포머 모델에서 처리
  3. 엔드-투-엔드 학습: 별도의 ASR(음성인식) → LLM → TTS(음성합성) 파이프라인이 아닌, 직접 오디오-오디오 처리

이는 Chameleon, Emu3 등이 추구하는 조기 융합(early fusion) 방식의 상용화 버전으로 볼 수 있다.

네이티브 멀티모달의 의미

기존 파이프라인 방식 (GPT-4V 음성 모드):

네이티브 멀티모달 방식 (GPT-4o):

파이프라인 방식에서는 ASR 단계에서 감정, 톤, 억양 정보가 손실되고, TTS 단계에서 단조로운 음성만 생성되었다. GPT-4o는 이 중간 단계를 제거하여 풍부한 비언어적 정보를 보존한다.

모델 사양 (공개 정보)

항목값
컨텍스트 길이128,000 토큰
출력 토큰최대 16,384
지원 모달리티 (입력)텍스트, 이미지, 오디오, 비디오
지원 모달리티 (출력)텍스트, 오디오
음성 응답 지연평균 320ms
지원 언어50+ 언어
이미지 입력최대 20장

핵심 혁신

1. 실시간 음성-음성 대화

평균 320ms 지연으로 사람 수준의 대화 속도를 달성했다. 기존 GPT-4V 음성 모드의 평균 2.8초(최소 5.4초)와 비교하면 약 10배 빠르다. 음성의 감정을 인식하고 적절한 감정으로 응답하며, 웃음, 노래, 속삭임 등 다양한 음성 스타일을 생성할 수 있다.

2. 비용 효율성

GPT-4 Turbo 대비 동등한 텍스트 성능을 유지하면서:

  • 추론 속도: 2배 빠름
  • API 비용: 50% 절감
  • 비영어권 토크나이제이션: 크게 개선 (한국어 등에서 토큰 효율 향상)

3. 통합 멀티모달 추론

이미지를 보면서 음성으로 설명을 듣고, 텍스트로 응답하는 등 세 가지 모달리티 간 자유로운 교차 추론이 가능하다. 예를 들어 화이트보드 사진을 찍어 보여주면서 음성으로 질문하면, 시각 정보와 음성 정보를 동시에 이해하여 응답한다.

벤치마크/성능

벤치마크GPT-4oGPT-4 TurboClaude 3 OpusGemini Pro 1.5
MMLU (텍스트)88.7%86.4%86.8%81.9%
MMMU (멀티모달)69.1%63.1%——
HumanEval (코드)90.2%86.6%84.9%71.9%
음성 번역 (MLS)SOTA———
음성 인식 (다국어)SOTA———

관련 모델 비교

특성GPT-4oGemini 1.5 ProClaude 3.5 SonnetQwen3-Omni
네이티브 멀티모달완전완전텍스트+이미지완전
실시간 음성지원 (320ms)지원미지원지원
이미지 생성지원 (2025~)지원미지원미지원
오픈소스비공개비공개비공개공개
API 비용 (1M 입력)$2.5$3.5$3.0무료 (셀프호스팅)

학습 상세

상세한 학습 방법은 공개되지 않았으나, 알려진 정보를 종합하면:

  • 사전학습 데이터: 텍스트, 이미지, 오디오를 포함한 대규모 멀티모달 데이터
  • 정렬: RLHF(Reinforcement Learning from Human Feedback) 기반
  • 안전성: 레드팀 테스트 + 외부 안전성 평가
  • 스트리밍 최적화: 실시간 오디오 입출력을 위한 추론 최적화

GPT-4 수준의 텍스트 추론 능력을 유지하면서 멀티모달 통합을 달성하기 위해, 대규모 합성 데이터와 실제 데이터의 혼합 학습이 수행된 것으로 추정된다.

실무 활용

from openai import OpenAI
import base64
 
client = OpenAI()
 
# 이미지 이해
with open("photo.jpg", "rb") as f:
    image_b64 = base64.b64encode(f.read()).decode()
 
response = client.chat.completions.create(
    model="gpt-4o",
    messages=[{
        "role": "user",
        "content": [
            {"type": "text", "text": "이 이미지를 분석해주세요."},
            {"type": "image_url", "image_url": {
                "url": f"data:image/jpeg;base64,{image_b64}"
            }}
        ]
    }],
    max_tokens=500
)
 
# 실시간 음성 대화 (Realtime API)
# WebSocket 기반 양방향 스트리밍
import asyncio, websockets
async def voice_chat():
    async with websockets.connect(
        "wss://api.openai.com/v1/realtime?model=gpt-4o-realtime"
    ) as ws:
        # 오디오 스트림 송수신
        pass

주요 활용 분야

  1. 실시간 음성 어시스턴트: 고객 서비스, 교육, 접근성 도구
  2. 멀티모달 문서 분석: 이미지+텍스트가 혼합된 보고서, 프레젠테이션 분석
  3. 실시간 번역: 음성 입력 → 다국어 텍스트/음성 출력
  4. 비전 기반 에이전트: Computer Use, 웹 브라우징 자동화

한계 및 전망

한계

  1. 비공개 아키텍처: 학술 재현 및 분석 불가
  2. API 의존성: 셀프호스팅 불가, OpenAI 서비스에 종속
  3. 환각(Hallucination): 여전히 시각 정보에 대한 환각 문제 존재
  4. 음성 안전성: 음성 딥페이크, 감정 조작 등 새로운 안전 위험

전망

GPT-4o는 네이티브 멀티모달 모델의 상용화 기준을 정립하였다. 2025년에는 이미지 생성(DALL-E 통합), 비디오 입력 처리, 향상된 추론 능력(o1 계열 통합) 등이 추가되며 진화를 계속하고 있다. 오픈소스 진영에서는 Qwen3-Omni가 유사한 옴니모달 능력을 공개 모델로 구현하며 경쟁하고 있으며, 향후 네이티브 멀티모달이 AI 모델의 기본 요건이 될 것으로 전망된다.

관련 문서

그래프 뷰

백링크