Veo 2: 시네마틱 4K 비디오 생성 모델
Google DeepMind · 2024-05-14 · Diffusion · Proprietary
개요
Veo(현재 Veo 2)는 2024년 Google DeepMind가 발표한 고해상도 텍스트/이미지-비디오 생성 모델로, 최대 4K 해상도의 장편 비디오 생성 능력을 갖춘 최고 수준의 상업 비디오 생성 시스템이다. Google DeepMind는 영상 생성 분야에서 Imagen Video, Lumiere, VideoPoet, Phenaki 등 다수의 연구를 수행해 왔으며, Veo 2는 이러한 연구 성과들을 하나의 통합 시스템으로 결집한 결과물이다.
Veo 2는 Imagen 계열의 T5 텍스트 인코더 기반 Cascaded Diffusion 접근법을 영상으로 확장하였다. Cascaded Diffusion은 저해상도에서 비디오를 먼저 생성한 뒤, 초해상도(Super-Resolution) 확산 모델로 단계적으로 해상도를 높이는 다단계 생성 방식이다. 이 접근법은 한 번에 4K 영상을 생성하는 것보다 각 단계의 학습 난이도를 낮추고, 전체 품질을 높이는 효과가 있다.
Veo 2의 핵심 특징은 세 가지로 요약된다. 첫째, 시네마틱 카메라 동작 제어: 달리(dolly), 팬(pan), 줌(zoom), 틸트(tilt), 크레인 샷 등 전문 영화 제작에서 사용하는 카메라 동작을 텍스트 프롬프트로 자연스럽게 제어할 수 있다. 둘째, 물리적으로 그럴듯한 상호작용: 유체 역학, 물체 충돌, 중력 효과, 사람 동작의 정확한 표현이 가능하다. 셋째, 장편 비디오 생성: 분 단위의 긴 비디오를 시간적 일관성을 유지하면서 생성할 수 있다. 특히 텍스트 프롬프트에서 지정한 카메라 앵글, 렌즈, 움직임을 정확히 제어하는 기능은 실제 영화 제작 워크플로우에서 활용될 수 있는 수준이다.
Veo 2는 YouTube Shorts 및 Google Workspace 통합, 전문 영화 제작사(예: 도널드 글로버의 Gilga 등)와의 협업을 통해 상업적 배포가 이루어졌다.
아키텍처 상세
Cascaded Diffusion 파이프라인
Veo 2의 아키텍처는 공개된 정보가 제한적이나, 다음과 같은 다단계 파이프라인으로 구성된 것으로 알려져 있다:
- 텍스트 인코딩: T5-XXL(11B) 텍스트 인코더로 프롬프트를 풍부한 의미 임베딩으로 변환
- 기본 비디오 생성: 저해상도(예: 256x256) 시공간 확산 모델로 기본 비디오 구조 생성
- 공간 초해상도: 확산 기반 Super-Resolution 모델로 1080p → 4K까지 해상도 업스케일
- 시간적 초해상도: 프레임 보간 모델로 프레임 레이트 향상
확산 과정의 학습 목표는 각 단계에서 표준적인 노이즈 예측을 사용한다:
여기서 는 SNR 기반 가중치이며, 는 텍스트 조건과 카메라 제어 조건을 포함한다.
시공간 Transformer (DiT) 백본
기본 비디오 생성 모델은 시공간 Full Self-Attention을 사용하는 DiT 구조를 채택한다. 비디오 프레임은 잠재 공간에서 시공간 패치로 분할되어 토큰 시퀀스가 되며, Transformer 블록이 시공간 의존성을 포착한다.
긴 비디오 생성을 위해 Temporal Attention 또는 비디오 청크(chunk) 단위 처리 전략이 적용된다. 청크 간의 일관성은 이전 청크의 마지막 프레임들을 다음 청크의 조건으로 활용하는 오버랩 방식으로 유지된다.
카메라 동작 제어
카메라 동작 제어를 위한 별도 조건 임베딩이 존재하는 것으로 추정된다. 카메라 파라미터(위치, 방향, 초점 거리)를 벡터로 인코딩하여 확산 과정의 조건으로 주입하면, 생성되는 비디오의 카메라 동작을 세밀하게 제어할 수 있다:
핵심 혁신
Veo 2의 핵심 혁신은 4K 해상도와 시네마틱 카메라 제어를 결합한 전문 영상 제작 수준의 비디오 생성이다. Cascaded Diffusion 접근법으로 각 단계의 생성 난이도를 분산시키면서 최종 품질을 극대화하였다. 카메라 동작 제어는 전문 영상 제작자가 AI 도구를 자연스럽게 워크플로우에 통합할 수 있게 하는 핵심 기능이다. Google의 대규모 인프라를 활용한 데이터 수집과 학습도 Veo 2의 품질을 뒷받침하는 중요한 요소이다.
벤치마크/성능
| 모델 | 해상도 | 최대 길이 | 카메라 제어 | 물리 사실성 | ELO 순위 |
|---|---|---|---|---|---|
| Veo 2 | 4K | 2분+ | 최상위 | 높음 | Top 3 |
| Sora | 1080p | 60초 | 중간 | 높음 | Top 5 |
| Runway Gen-3 | 1080p | ~10초 | 중상위 | 중간 | Top 10 |
| Kling 1.6 | 1080p | ~10초 | 중간 | 중상위 | Top 10 |
| Pika 1.5 | 720p | ~5초 | 기본 | 중간 | - |
ELO 기반 비디오 생성 평가에서 Veo 2는 전반적 품질, 물리 사실성, 텍스트 정렬 항목에서 최상위 수준을 기록하였다. 특히 4K 해상도 지원과 분 단위 긴 비디오 생성은 당시 경쟁 모델 대비 명확한 차별화 요소였다.
학습
학습 데이터 및 모델 파라미터는 공개되지 않았다. Google 내부 대규모 비디오 데이터셋과 외부 라이선스 데이터를 활용한 것으로 알려져 있다. VideoFeedback 등 인간 선호도 데이터로 RLHF 유사 정렬 학습이 적용된 것으로 추정된다. Google의 TPU v5 클러스터를 활용한 대규모 학습이 이루어졌을 것으로 보인다. SynthID 워터마킹이 생성된 비디오에 자동으로 적용되어 AI 생성 콘텐츠 식별이 가능하다.
관련 모델
Veo 2는 Imagen에서 발전하였으며, Lumiere, VideoPoet 등 Google DeepMind의 영상 생성 연구를 통합한 모델이다. 후속 모델인 Veo 3(2025)는 네이티브 오디오-비디오 공동 생성 기능을 추가하였다.