MAE: 마스킹 오토인코더로 배우는 비전 표현

Meta/FAIR · 2021-11-01 · Vision · CC-BY-NC-4.0

개요

MAE(Masked Autoencoders Are Scalable Vision Learners)는 2021년 Meta/FAIR의 Kaiming He 등이 발표한 비전 자기지도 학습 모델이다. NLP에서 BERT의 마스킹 언어 모델링(MLM)이 강력한 사전학습 방법으로 성공한 것에 영감을 받아, 이를 비전 도메인으로 확장하였다. 이미지 패치의 75%라는 매우 높은 비율을 무작위로 마스킹한 뒤, 비대칭 인코더-디코더 구조에서 가시 패치만으로 마스킹된 영역의 픽셀을 복원하도록 학습한다.

MAE의 핵심 통찰은 이미지와 텍스트의 정보 밀도(information density) 차이에 있다. 텍스트는 정보 밀도가 높아 단어 하나가 고유하고 중요한 의미를 가지므로, BERT처럼 15%만 마스킹해도 충분히 어려운 사전학습 태스크가 된다. 반면 이미지는 공간적 중복성(spatial redundancy)이 매우 높아, 인접 패치들이 유사한 텍스처와 색상을 공유한다. 따라서 15-40% 수준의 마스킹으로는 이웃 패치의 저수준 통계(텍스처 보간, 색상 외삽)만으로 복원이 가능하여, 모델이 고수준 의미 표현(객체의 형태, 장면의 구조, 물체 간 관계)을 학습할 동기가 부족해진다. 75%라는 극단적 마스킹 비율은 이웃 패치로부터의 단순 보간을 불가능하게 만들어, 모델이 이미지의 전역적 의미 구조를 반드시 파악해야 복원할 수 있도록 강제한다.

비대칭 인코더-디코더 구조를 통해 인코더는 가시 패치(25%)만 처리하므로 사전학습 연산량이 약 3-4배 감소하면서도, ViT-H/14 기준 ImageNet 파인튜닝 87.8% top-1 정확도를 달성하여, 기존의 대조 학습(contrastive learning) 기반 방법(MoCo v3, DINO)과 지도 학습 모두를 능가하는 자기지도 학습 비전 모델의 새로운 기준을 수립하였다.

아키텍처 상세

MAE의 아키텍처는 비대칭 인코더-디코더 구조로 설계되어 있으며, 이 비대칭성이 모델의 효율성과 성능을 동시에 달성하는 핵심이다.

마스킹 전략

$224 \times 224$ 입력 이미지를 $16 \times 16$ 패치로 나누어 $N = 14 \times 14 = 196$ 개 패치를 생성한다. 이 중 75%(147개)를 무작위로 마스킹하여 25%(49개)의 가시 패치만 남긴다. 마스킹은 구조적 패턴(블록 마스킹, 그리드 마스킹) 없이 완전 무작위(uniform random sampling without replacement)로 수행된다. 실험 결과, 이 단순한 무작위 전략이 블록 마스킹이나 그리드 마스킹보다 일관되게 우수한 성능을 보인다.

비대칭 인코더

인코더는 표준 ViT 아키텍처(Multi-Head Self-Attention + GELU FFN + LayerNorm)이며, 마스킹되지 않은 가시 패치만 처리한다. 이것이 MAE의 결정적 설계 선택이다. BEiT나 SimMIM처럼 마스크 토큰 [MASK]을 인코더에 넣는 방식과 달리, MAE는 마스크 토큰을 인코더에서 완전히 배제한다. 이를 통해 인코더는 전체 시퀀스의 25%만 처리하면 되어, 셀프 어텐션의 $O (N^{2})$ 연산이 $O ((0.25 N)^{2}) = O (0.0625 N^{2})$ 로 약 16배 감소한다. 실질적으로 사전학습 전체 연산량은 약 3-4배 절감된다:

$z_{0} = [x_{cls}; x_{i_{1}} E; \dots; x_{i_{M}} E] + E_{pos}$

여기서 $M = 0.25 \times N = 49$ 는 가시 패치 수이다.

인코더 사양	ViT-B	ViT-L	ViT-H
레이어 수	12	24	32
히든 차원	768	1024	1280
어텐션 헤드	12	16	16
파라미터	86M	307M	632M

경량 디코더

디코더는 인코더보다 훨씬 작은 네트워크로 설계된다. 예를 들어 인코더가 ViT-L(24레이어, 1024차원)일 때, 디코더는 8레이어, 512차원으로 인코더의 약 10% 규모이다. 이 극단적 비대칭은 의도적 설계이다: 복원 태스크의 복잡한 연산을 경량 디코더에 맡기고, 인코더는 순수하게 의미 표현 학습에 집중하도록 한다.

인코더 출력과 학습 가능한 공유 마스크 토큰 $m \in R^{d}$ 을 위치 임베딩과 함께 결합하여 전체 시퀀스(196개 위치)를 재구성한 뒤, 마스킹된 위치의 픽셀 값을 예측한다:

$z_{0}^{dec} = [encoded visible patches; 147 m, \dots, m] + E_{pos}^{dec}$

손실 함수

손실은 마스킹된 패치에 대해서만 계산하는 MSE(Mean Squared Error)이며, 정규화된 픽셀 값(패치별 평균/분산 정규화)을 타깃으로 사용한다:

$L = \frac{1}{∣ M ∣} \sum_{i \in M} \overset{x}{^}_{i} - \frac{x _{i} - μ _{i}}{σ _{i}}^{2}$

여기서 $μ_{i}$ 와 $σ_{i}$ 는 각 패치 $i$ 의 픽셀 평균과 표준편차이다. 패치 정규화는 모델이 저수준 통계(평균 색상, 밝기)를 단순 복사하는 것을 방지하고, 고수준 구조(형태, 텍스처 패턴, 의미적 경계)에 집중하도록 유도한다. 가시 패치에 대해서는 손실을 계산하지 않으므로, 모델은 가시 패치로부터 마스킹 영역의 내용을 추론해야 한다. 디코더는 사전학습 후 완전히 제거되며, 인코더만 다운스트림 태스크에 전이된다.

핵심 혁신

높은 마스킹 비율(75%): 이미지와 텍스트의 정보 밀도 차이를 근본적으로 고려한 설계이다. Ablation 실험에서 마스킹 비율 75%가 최적이며, 40-60%에서는 파인튜닝 후 정확도가 하락한다. 75% 마스킹은 복원 태스크를 충분히 어렵게 만들어 고수준 의미 학습을 촉진한다.
비대칭 인코더-디코더: 인코더가 가시 패치만 처리하므로 사전학습 시간이 3-4배 단축된다. ViT-L 기준 8×V100 GPU에서 약 31시간으로 1600 에폭 학습이 가능하여, 대형 ViT의 자기지도 사전학습을 처음으로 실용적인 수준으로 만들었다.
스케일링 우호적 설계: MAE로 사전학습한 ViT는 모델 크기를 키울수록 성능이 일관되게 향상된다. ViT-B(83.6%) → ViT-L(85.9%) → ViT-H(87.8%)까지 포화 없이 성능이 개선되며, 이는 MoCo v3나 DINO에서는 ViT-L 이상에서 수익 체감이 관찰되었던 것과 대비된다.
극도로 단순한 설계 철학: 대조 학습의 복잡한 네거티브 샘플링, 모멘텀 인코더, 메모리 뱅크, 특수한 데이터 증강(SimCLR의 복잡한 augmentation pipeline) 등이 전혀 필요 없다. 마스킹 → 복원이라는 직관적인 프레임워크만으로 SOTA 성능을 달성한다.

벤치마크/성능

모델	사전학습 방식	ImageNet FT top-1	ImageNet LP top-1	COCO AP_box	ADE20K mIoU
MAE ViT-B	마스킹 복원	83.6%	68.0%	-	-
MAE ViT-L	마스킹 복원	85.9%	76.0%	53.3	48.1
MAE ViT-H	마스킹 복원	87.8%	-	-	-
BEiT ViT-B	마스킹 복원	83.2%	56.7%	-	-
DINO ViT-B	자기증류	83.6%	78.2%	-	-
MoCo v3 ViT-B	대조 학습	83.2%	76.7%	-	-
지도 학습 ViT-B	레이블	82.3%	-	-	-
지도 학습 ViT-L	레이블	82.6%	-	-	-

MAE는 파인튜닝 성능에서 모든 비교 방법을 압도하지만, 선형 프로빙(frozen backbone)에서는 DINO(78.2%)보다 낮은 68.0%를 보인다. 이는 MAE가 학습한 표현이 파인튜닝을 통해 활성화되어야 하는 풍부한 잠재적 지식을 내포하고 있음을 시사하며, DINOv2에서 DINO+iBOT 결합으로 이 한계가 극복되었다.

학습

데이터셋: ImageNet-1K (128만 이미지, 레이블 미사용, 순수 자기지도)
사전학습 에폭: 1600 (ViT-L 기준 최적, 800 에폭에서도 유의미한 성능)
옵티마이저: AdamW ( $β_{1}$ =0.9, $β_{2}$ =0.95)
학습률: 1.5e-4 (base lr, linear warmup 40 에폭 + cosine decay)
배치 크기: 4096
Weight decay: 0.05
마스킹 비율: 75% (uniform random)
디코더: 8 레이어, 512 차원 (인코더의 ~10% 규모)
파인튜닝: 100 에폭, 레이어별 학습률 감쇠(layer-wise lr decay, 감쇠율 0.75)
GPU: 8×V100 32GB, 약 31시간 (ViT-L, 1600 에폭)
데이터 증강: 사전학습 시 random resized crop + horizontal flip만 사용 (최소한의 증강)

MAE의 사전학습은 데이터 증강에 거의 의존하지 않으며(복잡한 증강이 오히려 성능을 저하), 이는 대조 학습 방법들이 강력한 데이터 증강에 크게 의존하는 것과 대비되는 특성이다.

참고 자료

논문: Masked Autoencoders Are Scalable Vision Learners
코드: github.com/facebookresearch/mae

도형준 지식 볼트

탐색기

MAE: 비전 트랜스포머 기반 모델