17주차. 이미지 tensor와 Vision Transformer

이 글은 AI의 도움을 받아 작성되었습니다.

← 26주 커리큘럼

VLM은 이미지와 글을 함께 읽는다. 글을 token으로 나누는 과정은 앞에서 배웠지만, 사진은 어떻게 token이 될까? 이번 주에는 RGB 이미지 한 장이 tensor로 바뀌고, 작은 patch로 나뉘어 Transformer에 들어가는 과정을 따라간다.

이번 주에 배울 것

• RGB 이미지에서 channel, height, width가 뜻하는 것
• Resize, center crop, rescale, normalization의 역할
• pixel_values의 [batch, channel, height, width] shape
• 이미지를 patch로 나누고 embedding으로 바꾸는 과정
• CLS token과 position embedding이 필요한 이유
• 해상도와 patch 크기가 visual token 수를 바꾸는 방식
• 사전 학습된 작은 Vision Transformer의 실제 tensor shape

선수 지식은 Python list와 PyTorch tensor의 shape, 1주차에서 배운 embedding과 self-attention이다. CNN의 세부 구조는 몰라도 된다.

1. 이미지도 숫자로 이루어진 tensor다

컴퓨터에서 RGB 이미지는 빨강, 초록, 파랑의 세 channel로 표현한다. 각 pixel은 channel마다 밝기 값을 하나씩 갖는다. 일반적인 8-bit 이미지는 0부터 255까지의 정수를 쓴다.

이미지 library와 deep learning framework가 channel을 놓는 순서는 다를 수 있다.

PIL·NumPy 이미지  [height, width, channel]
PyTorch 입력      [batch, channel, height, width]

세로 240px, 가로 360px인 RGB 이미지를 NumPy 배열로 보면 [240, 360, 3]이다. PyTorch model에 한 장만 넣을 때는 batch 차원까지 붙어 [1, 3, 240, 360]이 된다.

2. Processor는 model이 배웠던 입력 조건을 맞춘다

사진마다 크기와 밝기 범위가 다르다. 사전 학습된 model은 훈련할 때 정해진 resize, crop, rescale, normalization 규칙으로 이미지를 보았다. 추론할 때도 같은 규칙을 따라야 한다. Hugging Face의 Image Processor는 이 전처리를 model 설정과 함께 불러온다.¹

Pixel 값이 $x$, rescale 뒤 값이 $x'=x/255$, 평균이 $\mu$, 표준편차가 $\sigma$라면 normalization은 $\hat{x}=(x'-\mu)/\sigma$로 쓸 수 있다. 이번 실습 model은 RGB 세 channel 모두 $\mu=0.5$, $\sigma=0.5$를 쓴다. 0은 -1, 0.5는 0, 1은 1이 된다.

from PIL import Image
from transformers import DeiTImageProcessorPil

model_id = "facebook/deit-tiny-patch16-224"
revision = "25f8de47268ea80b6f2227b1c6075084095c8131"

processor = DeiTImageProcessorPil.from_pretrained(
    model_id,
    revision=revision,
)
image = Image.open("sample.png").convert("RGB")
batch = processor(images=image, return_tensors="pt")

print(batch["pixel_values"].shape)
# torch.Size([1, 3, 224, 224])

DeiTImageProcessorPil은 이번 실행 환경에 torchvision이 없어 사용한 PIL backend다. torchvision이 설치된 일반 환경에서는 AutoImageProcessor를 써도 된다. 중요한 것은 class 이름보다 checkpoint에 저장된 전처리 설정을 함께 불러오는 일이다.¹²

이번 processor는 360×240 이미지를 224×224로 바꿨다. 원본의 원은 전처리 뒤 세로로 긴 타원처럼 보인다. 가로세로 비율이 다른 이미지를 정사각형으로 바꾸면 모양이 달라질 수 있다는 뜻이다. Model마다 짧은 변을 기준으로 resize한 뒤 crop하거나, 이미지를 여러 tile로 나누는 등 규칙이 다르므로 현재 processor 설정을 확인해야 한다.

3. Vision Transformer는 이미지를 patch sequence로 바꾼다

그림 1. 이미지를 고정 크기 patch로 나누고 linear projection, position embedding, Transformer encoder를 거치는 구조. 출처: Dosovitskiy et al. (2020), Figure 1에서 발췌.³

높이 $H$, 너비 $W$, channel 수 $C$인 이미지를 $P \times P$ patch로 나눈다고 하자. Patch 수는 $N=HW/P^2$이다. 입력이 224×224이고 patch가 16×16이면 한 변에서 $224/16=14$개가 나온다. 전체 patch는 $14 \times 14=196$개다.

Patch 하나에는 $16 \times 16 \times 3=768$개의 숫자가 들어 있다. 이 숫자를 한 줄로 펴고 linear projection을 적용하면 model의 hidden size $D$에 맞는 embedding이 된다. 이번 model의 $D$는 192다.

pixel_values         [1, 3, 224, 224]
Conv2d projection    [1, 192, 14, 14]
patch embeddings     [1, 196, 192]

구현에서는 kernel size와 stride가 모두 16인 Conv2d로 patch 분할과 linear projection을 한꺼번에 처리할 수 있다. 겹치지 않는 16×16 영역마다 같은 projection weight를 적용하기 때문이다. 출력 [1, 192, 14, 14]의 공간 축을 한 줄로 펴고 순서를 바꾸면 [1, 196, 192]가 된다.²

projection = model.vit.embeddings.patch_embeddings.projection(pixel_values)
patch_embeddings = projection.flatten(2).transpose(1, 2)

print(projection.shape)       # [1, 192, 14, 14]
print(patch_embeddings.shape) # [1, 196, 192]

4. Patch 순서와 전체 이미지 표시는 따로 더한다

Patch를 펼치면 Transformer는 1차원 sequence를 받는다. 이때 각 embedding만 보고는 왼쪽 위 patch인지 오른쪽 아래 patch인지 알기 어렵다. ViT는 patch embedding에 학습 가능한 position embedding을 더해 위치를 알려준다.³

이미지 분류에는 CLS token도 앞에 하나 붙인다. 모든 patch와 self-attention을 주고받은 뒤, 마지막 CLS 표현을 이미지 전체를 대표하는 vector로 사용한다.

patch token 수             196
CLS token 수                 1
Transformer sequence 길이  197
encoder output       [1, 197, 192]

ViT encoder의 self-attention에는 Causal LM처럼 미래를 가리는 causal mask가 없다. 사진의 오른쪽 아래 patch가 왼쪽 위 patch를 봐도 되고, 반대 방향도 가능하다. 이미지는 다음 patch를 순서대로 생성하는 문제가 아니라 전체 장면을 함께 읽는 입력이기 때문이다.

5. 해상도가 커지면 visual token은 빠르게 늘어난다

Patch 크기를 16으로 고정하면 이미지 한 변의 길이가 두 배가 될 때 patch token 수는 네 배가 된다. Attention은 token 쌍을 비교하므로 score 수는 sequence 길이의 제곱에 비례한다. 정사각형 이미지에서는 해상도가 두 배가 될 때 attention score 수가 대략 16배가 되는 셈이다.

이 표는 patch size 16에서 $N=(R/16)^2$와 $(N+1)^2$을 계산한 값이다.⁴ 실제 VLM은 입력을 고정 해상도로 줄이거나, 여러 tile로 나누거나, visual token을 압축해 비용을 조절한다. 그 방법은 19주차의 VLM 연결 구조와 22주차의 멀티모달 서빙에서 다시 다룬다.

6. 직접 실행한 전처리와 forward 결과

그림 2. 왼쪽은 코드로 그린 360×240 RGB 이미지, 가운데는 DeiT Processor의 224×224 출력과 16×16 patch grid다. 오른쪽은 입력 해상도에 따른 patch token과 head 하나의 attention 쌍을 계산한 결과다. macOS CPU, PyTorch 2.13.0, Transformers 5.14.1, Matplotlib 3.11.1에서 직접 실행했다.⁴

사전 학습된 facebook/deit-tiny-patch16-224를 고정 revision으로 불러왔다. DeiT는 ViT 구조를 더 적은 데이터로 학습하는 방법을 연구한 model이다. 이번에 사용한 tiny checkpoint는 224×224 입력과 16×16 patch를 쓰며 hidden size 192, encoder 12개, attention head 3개로 구성된다.²⁵

전처리된 pixel_values의 최솟값은 약 -0.969, 최댓값은 1.000, 평균은 약 0.450이었다. 값이 정확히 -1부터 1까지 모두 채워져야 하는 것은 아니다. 실제 그림에 들어 있는 색이 차지하는 범위에 따라 최솟값과 평균이 달라진다.

CPU forward 한 번은 약 0.015초였지만 warm-up과 반복 측정이 없는 단일 실행이다. Model이나 device의 속도 비교에는 쓰지 않는다. 이번 결과에서 확인할 것은 시간보다 196개 patch가 197개 sequence token으로 바뀌고, head 3개가 각각 197×197 attention matrix를 만든다는 사실이다.

7. 자주 생기는 실수

Model ID뿐 아니라 Processor 설정도 실험 기록에 남긴다. 같은 이미지를 넣었는데 결과가 달라졌다면 weight보다 resize, crop, RGB 변환, mean·std가 먼저 달라졌을 수 있다.

확인 문제

1. RGB 이미지의 channel 수가 3인 이유는 무엇인가?
2. [1, 3, 224, 224]에서 첫 번째 1과 두 번째 3은 각각 무엇을 뜻하는가?
3. 224×224 이미지를 16×16 patch로 나누면 patch가 196개인 이유를 계산해보자.
4. Patch vector의 768차원이 192차원 embedding으로 바뀌는 단계는 무엇인가?
5. Patch token이 196개인데 encoder sequence가 197개인 이유는 무엇인가?
6. ViT encoder가 Causal LM의 causal mask를 사용하지 않는 이유는 무엇인가?
7. 입력 해상도를 두 배로 키웠을 때 patch token과 attention 쌍은 각각 대략 몇 배가 되는가?

완료 체크

• RGB 이미지와 pixel_values의 축 순서를 구분했다.
• Resize, crop, rescale, normalization의 역할을 설명했다.
• ViT 원 논문의 Figure 1에서 patch와 encoder 흐름을 확인했다.
• 224×224 입력에서 16×16 patch 196개를 계산했다.
• 사전 학습된 작은 model에서 전처리와 forward shape를 실행했다.
• 해상도별 patch token과 attention 쌍을 표와 그림으로 비교했다.