SigLIP: 시그모이드 손실 기반 시각-언어 사전학습

Google · 2023-03-01 · Multimodal · Apache-2.0

개요

SigLIP(Sigmoid Loss for Language-Image Pre-training)은 2023년 Google이 발표한 CLIP 개선 모델이다. 핵심 혁신은 CLIP의 소프트맥스 기반 대조 손실(InfoNCE)을 시그모이드 이진 분류 손실로 대체한 것이다. 이 간단하지만 강력한 변경을 통해 대규모 배치 크기에 대한 의존성을 크게 줄이면서도, 동일하거나 더 나은 제로샷 성능을 달성했다.

CLIP의 대조 학습(contrastive learning)은 배치 내 이미지-텍스트 쌍을 긍정 쌍(positive pair)과 부정 쌍(negative pair)으로 분류하는 방식이다. 이미지 인코더와 텍스트 인코더가 각각 이미지와 텍스트를 임베딩 공간으로 매핑하고, 매칭되는 쌍의 유사도는 높이고 비매칭 쌍의 유사도는 낮추도록 학습한다. 소프트맥스 손실은 배치 내 모든 쌍에 대한 전역 정규화(global normalization)가 필요하여, 분산 학습 시 GPU 간 all-gather 통신 비용이 높았다. 또한 배치 크기가 작으면 부정 샘플이 부족하여 학습이 불안정해지는 문제가 있었다.

SigLIP은 각 이미지-텍스트 쌍을 독립적인 이진 분류 문제로 처리하므로, 전역 정규화가 불필요하고 분산 학습 효율이 크게 향상된다. 배치 크기가 작은 환경에서도 안정적으로 학습되어 학술 연구 환경에서도 재현 가능하며, 현재 대부분의 VLM(Vision-Language Model)에서 표준 비전 인코더로 채택되고 있다. PaliGemma 2, LLaVA-OneVision, MiniCPM-V 등 주요 오픈소스 VLM의 비전 백본으로 SigLIP-SO400M이 사실상 표준으로 자리잡았다. ImageNet 제로샷 분류에서 84.5%를 달성하여, CLIP의 76.2%를 8% 이상 상회하는 성능을 보이며, 이는 동일한 배치 크기에서 시그모이드 손실의 우수성을 명확하게 입증한다.

아키텍처 상세

이중 인코더 구조

SigLIP은 CLIP과 동일한 이중 인코더(dual-encoder) 구조를 유지한다:

• 이미지 인코더: ViT-B/16, ViT-L/16, ViT-SO400M/14 등 다양한 Vision Transformer 변형을 지원한다. 대표 모델인 ViT-SO400M/14는 400M 파라미터에 패치 크기 14, 해상도 384를 사용하여 SigLIP 최고 성능을 달성한다. 이미지를 고정 크기 패치로 분할하고, 각 패치를 선형 투영(linear projection)하여 토큰 시퀀스로 변환한 뒤 트랜스포머 인코더로 처리한다.
• 텍스트 인코더: 트랜스포머 기반 인코더로, 최대 64 토큰까지 처리한다. CLIP의 77 토큰보다 짧지만, 대부분의 이미지 캡션이 이 범위 안에 있으므로 성능 저하 없이 처리 효율을 높인다. 텍스트의 [CLS] 토큰 또는 마지막 토큰의 표현이 텍스트 전체의 임베딩으로 사용된다.

두 인코더의 출력은 정규화된 임베딩 공간으로 사영되어, 코사인 유사도로 매칭 점수를 계산한다:

$\text{sim}(I,T)=\frac{{\mathbf{f}}_I\cdot {\mathbf{f}}_T}{\Vert {\mathbf{f}}_I\Vert \cdot \Vert {\mathbf{f}}_T\Vert }$

시그모이드 대조 손실

CLIP의 InfoNCE 손실과 SigLIP의 시그모이드 손실의 차이는 다음과 같다. 이 차이가 SigLIP의 핵심이자 가장 중요한 기여이다.

CLIP의 InfoNCE 손실(소프트맥스 기반):

${\mathcal{L}}_{\text{CLIP}}=-\frac{1}{N}{\sum }_{i=1}^N\log \frac{\exp (\text{sim}(I_i,T_i)/\tau )}{{\sum }_{j=1}^N\exp (\text{sim}(I_i,T_j)/\tau )}$

이 손실은 배치 내 모든 $N$개 쌍에 대한 전역 소프트맥스 정규화를 필요로 한다. 분모의 합산이 배치 전체에 걸쳐야 하므로, 분산 환경에서 GPU 간 all-gather 통신이 불가피하다. 또한 부정 샘플의 수가 배치 크기에 직접 의존하므로, 작은 배치에서는 학습 신호가 약해진다.

SigLIP의 시그모이드 손실(이진 분류 기반):

${\mathcal{L}}_{\text{SigLIP}}=-\frac{1}{N}{\sum }_{i=1}^N{\sum }_{j=1}^N\log \sigma (y_{ij}\cdot z_{ij})$

여기서 유사도 로짓 $z_{ij}$는 학습 가능한 온도 $t$와 바이어스 $b$를 포함한다:

$z_{ij}=\text{sim}(I_i,T_j)\cdot \exp (t)+b$

매칭 레이블 $y_{ij}\in \{-1,+1\}$는 쌍 $(I_i,T_j)$가 매칭이면 $+1$, 비매칭이면 $-1$이다. 시그모이드 함수 $\sigma (x)=1/(1+e^{-x})$를 통해 각 쌍의 매칭 확률을 독립적으로 계산하므로, 배치 내 전역 정규화가 불필요하며 GPU 간 all-gather 통신 비용이 대폭 절감된다.

바이어스 항 $b$의 도입이 특히 중요한데, 이는 시그모이드 함수의 결정 경계(decision boundary)를 조절하여 학습 안정성을 크게 향상시킨다. 바이어스 없이는 시그모이드 손실이 소프트맥스보다 오히려 성능이 낮지만, 바이어스를 도입하면 소프트맥스를 안정적으로 상회한다.

모델 변형

모델	파라미터	해상도	패치 크기	히든 차원	어텐션 헤드	레이어 수
ViT-B/16	86M	224	16	768	12	12
ViT-L/16	303M	384	16	1024	16	24
ViT-SO400M/14	400M	384	14	1152	16	27

핵심 혁신

SigLIP의 혁신은 손실 함수라는 단일 변경에서 비롯되지만, 그 파급 효과는 학습 효율성, 메모리 사용량, 분산 학습 통신 비용 등 전방위에 걸친다.

배치 크기 독립적 학습

CLIP은 최적 성능을 위해 약 98K의 대규모 배치가 필요한 반면, SigLIP은 32K 이하에서도 CLIP을 상회한다. 이는 시그모이드 손실이 각 쌍을 독립적으로 처리하여 부정 샘플 수에 덜 민감하기 때문이다. 배치 크기를 32K에서 16K로 줄여도 성능 하락이 미미하여, 4개의 TPUv4 칩으로도 충분한 학습이 가능하다. 이는 학술 연구 환경에서의 재현성을 크게 향상시켰다.

메모리 효율성과 통신 비용 절감

시그모이드 손실은 소프트맥스 대비 메모리 효율적이다. 소프트맥스는 $N\times N$ 유사도 행렬의 각 행에 대해 정규화 상수를 계산하고 저장해야 하지만, 시그모이드는 각 원소를 독립적으로 처리한다. 동일 하드웨어에서 CLIP은 배치 2048까지만 가능하지만, SigLIP은 4096까지 처리할 수 있어 약 2배의 처리량 향상을 달성한다. 분산 학습 시 전역 정규화가 불필요하므로 GPU 간 통신 오버헤드도 크게 줄어든다.

바이어스 항과 온도 파라미터

시그모이드 손실에 학습 가능한 바이어스 $b$를 추가한 것은 간단하지만 효과적인 설계이다. 바이어스는 시그모이드 함수의 결정 경계를 이동시켜, 매칭과 비매칭을 구분하는 기준점을 학습을 통해 최적화한다. 온도 파라미터 $t$는 $\exp (t)$로 적용되어 유사도 분포의 sharpness를 조절한다. 이 두 파라미터가 결합되어 학습의 안정성과 수렴 속도를 크게 향상시킨다.

벤치마크/성능

모델	ImageNet 제로샷	배치 크기	학습 비용	전역 정규화
CLIP ViT-L/14	76.2%	32K	256 V100	필요
SigLIP ViT-L/16	82.1%	32K	TPUv4 Pod	불필요
SigLIP ViT-SO400M	84.5%	32K	4 TPUv4 (LiT)	불필요
OpenCLIP ViT-G/14	80.1%	86K	대규모 클러스터	필요
EVA-CLIP ViT-E	82.0%	41K	대규모 클러스터	필요

SigLIP ViT-SO400M은 ImageNet 제로샷 84.5%를 달성하여, 훨씬 큰 모델인 OpenCLIP ViT-G/14(80.1%)와 EVA-CLIP ViT-E(82.0%)를 모두 상회한다. 배치 크기 32K에서 최적 성능을 달성하며, CLIP의 소프트맥스 손실은 98K에서야 최적에 도달하면서도 SigLIP을 상회하지 못한다.

VLM 비전 백본으로의 활용

SigLIP-SO400M은 현재 가장 널리 사용되는 VLM 비전 인코더이다. SigLIP의 임베딩이 CLIP보다 더 풍부한 시각적 표현을 제공하기 때문에, 대부분의 최신 VLM이 SigLIP을 비전 백본으로 선택하고 있다:

• LLaVA-OneVision: SigLIP-SO400M + Qwen2 LLM 조합으로, 오픈소스 VLM 벤치마크에서 최고 성능을 달성
• PaliGemma 2: SigLIP-SO400M + Gemma 2 조합으로, Google의 대표 VLM
• MiniCPM-V: SigLIP-SO400M + Llama-3 조합으로, 모바일 환경에 최적화된 경량 VLM
• Janus-Pro: SigLIP-L을 이해용 비전 인코더로 사용

SigLIP이 VLM 비전 백본의 사실상 표준이 된 이유는, 시그모이드 손실로 학습된 임베딩이 이미지-텍스트 정렬 품질이 우수하고, 다양한 LLM과의 호환성이 좋으며, 모델 크기 대비 성능이 뛰어나기 때문이다. 또한 Apache-2.0 라이선스로 상업적 활용에도 제한이 없어, 오픈소스 VLM 생태계의 발전에 크게 기여하고 있다. SigLIP의 성공은 멀티모달 학습에서 손실 함수 설계의 중요성을 재확인시켜 주었다.

학습

LAION-400M 및 WebLi(Web Language-Image) 데이터셋으로 학습한다. WebLi는 Google이 구축한 대규모 웹 크롤 이미지-텍스트 데이터셋으로, 다양한 언어와 도메인을 포괄한다. SigLIP의 시그모이드 손실 덕분에 배치 크기를 기존 CLIP 대비 훨씬 작게 설정할 수 있으며, TPU를 활용한 분산 학습으로 다양한 모델 크기를 학습하였다. 짧은 텍스트(최대 64 토큰)를 사용하여 처리 속도를 높이는 설계를 채택하였다. LiT(Locked-image Text tuning) 전략도 지원하여, 사전학습된 이미지 인코더를 고정한 채 텍스트 인코더만 학습하는 효율적인 전이 학습이 가능하다. 이 전략은 이미 고품질의 시각적 표현을 가진 모델에 텍스트 정렬만 추가하는 효율적인 방법이다.

관련 모델

• CLIP: 대조 학습 기반 시각-언어 사전학습의 원형 모델로 SigLIP이 직접 개선한 대상
• SigLIP 2: 후속 모델로 더 큰 규모와 개선된 학습 방법론을 도입
• PaliGemma 2: SigLIP-SO400M을 비전 인코더로 채택한 대표 VLM
• LLaVA-OneVision: SigLIP을 비전 백본으로 사용하는 오픈소스 VLM

참고 자료

• 논문
• 모델

한계 및 전망

SigLIP의 주요 한계는 CLIP과 마찬가지로 텍스트/이미지 생성 능력이 없다는 것이다. 또한 64 토큰이라는 짧은 텍스트 길이 제한으로 상세한 설명이나 복잡한 프롬프트 처리에 한계가 있다. 세밀한 시각 이해(fine-grained understanding) 측면에서도 복잡한 공간 관계, 속성 바인딩(attribute binding), 수량 추론 등에서 여전히 제한적인 성능을 보인다.

SigLIP은 CLIP의 실질적 후계자로, 2024-2025년 대부분의 오픈소스 VLM이 SigLIP-SO400M을 비전 인코더로 채택하고 있다. 후속 모델인 SigLIP 2(2025)에서는 더 큰 규모의 모델과 개선된 학습 방법론이 도입되어 성능이 추가 향상되었다. 시그모이드 손실의 간결함과 효율성은 향후 멀티모달 학습의 표준으로 자리잡을 전망이다.

관련 문서

• CLIP — 발전 기반
• SigLIP 2 — 후속 모델
• PaliGemma 2 — 적용 모델