ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← NLP & Multimodal

AI Researcher

CLIP — Kết nối hình ảnh và ngôn ngữ

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Mô hình học cách liên kết hình ảnh và văn bản trong cùng một không gian vector, cho phép tìm kiếm ảnh bằng ngôn ngữ tự nhiên.

lesson102 minNLP & MultimodalAI Researcher

Dự đoán

Bạn có 1000 ảnh chưa gán nhãn và muốn tìm tất cả ảnh có phở. Cách nào nhanh nhất?

Đáp án 3 mô tả chính xác cách CLIP hoạt động! CLIP đã liên kết ảnh và văn bản trong cùng không gian vector, nên bạn chỉ cần gõ mô tả và tìm ảnh có embedding gần nhất. Không cần dữ liệu huấn luyện riêng cho 'phở' — đây là zero-shot search!

Ma trận tương phản

Đây là trái tim của CLIP: ma trận cosine similarity giữa mọi ảnh và mọi mô tả trong cùng một batch. Hàng là ảnh, cột là mô tả. Mỗi ô hiển thị độ tương đồng (0 → 1) giữa embedding của ảnh hàng và embedding của mô tả cột.

Khi chưa huấn luyện, encoder khởi tạo ngẫu nhiên nên mọi ô đều xấp xỉ nhau. Khi đã huấn luyện bằng contrastive loss, đường chéo (ảnh i ↔ mô tả i — cặp đúng) sáng lên, còn các ô ngoài đường chéo (cặp sai) tối đi.

Khoảnh khắc A-ha

CLIP không phải bộ phân loại ảnh — nó là bộ dịch giữa hai ngôn ngữ: ngôn ngữ thị giác và ngôn ngữ văn bản. Bằng cách đặt cả hai vào cùng một không gian vector, bất kỳ ảnh nào cũng có thể được tìm bằng bất kỳ mô tả nào — mà không cần huấn luyện riêng cho từng task!

Zero-shot

Đã hiểu CLIP học gì, giờ ta xem nó dùng ra sao. Cho một ảnh bất kỳ và một danh sách nhãn dạng văn bản, CLIP sẽ chọn nhãn có embedding gần với ảnh nhất — không cần train lại.

Thử thách 1

Bạn dùng CLIP zero-shot để phân loại ảnh thành 3 nhóm: 'phở', 'bánh mì', 'cơm tấm'. Kết quả cho ảnh bún chả là 'phở: 40%, bánh mì: 25%, cơm tấm: 35%'. Tại sao?

Zero-shot classification BẮT BUỘC phải chọn trong các nhãn cho sẵn. Khi không có nhãn 'bún chả', CLIP chọn nhãn gần nhất — 'phở' — vì cả hai đều có bún và nước. Bài học: danh sách nhãn phải đủ bao phủ tất cả khả năng!

Kiến trúc hai nhánh

CLIP (Contrastive Language-Image Pre-training) do OpenAI công bố năm 2021, học cách liên kết hình ảnh và văn bản trong cùng không gian vector thông qua học tương phản (contrastive learning) trên 400 triệu cặp ảnh-mô tả từ internet (WebImageText / WIT). CLIP là nền tảng cho các VLM, các kiến trúc unified multimodal, và hầu hết hệ thống text-to-image hiện đại.

Loss InfoNCE

Loss function của CLIP (InfoNCE đối xứng):

L=−12N∑i=1N[log⁡esim(Ii,Ti)/τ∑j=1Nesim(Ii,Tj)/τ+log⁡esim(Ti,Ii)/τ∑j=1Nesim(Ti,Ij)/τ]\mathcal{L} = -\frac{1}{2N} \sum_{i=1}^{N} \left[ \log \frac{e^{\text{sim}(I_i, T_i) / \tau}}{\sum_{j=1}^{N} e^{\text{sim}(I_i, T_j) / \tau}} + \log \frac{e^{\text{sim}(T_i, I_i) / \tau}}{\sum_{j=1}^{N} e^{\text{sim}(T_i, I_j) / \tau}} \right]

sim(I,T)=cos⁡(vI,vT)\text{sim}(I, T) = \cos(\mathbf{v}_I, \mathbf{v}_T) là cosine similarity. τ\tau là temperature (khởi tạo từ 0.07 và học như tham số). Loss đối xứng: cả ảnh tìm mô tả và mô tả tìm ảnh.

Về mặt trực giác, InfoNCE chính là cross-entropy trên ma trận N×N:

Li→t=CrossEntropy(logits,labels)với labels=[0,1,2,…,N−1]\mathcal{L}_{\text{i→t}} = \text{CrossEntropy}(\text{logits}, \text{labels}) \quad \text{với labels} = [0, 1, 2, \ldots, N-1]

Ảnh i phải "phân loại" đúng mô tả i trong N lựa chọn. Đây là lý do contrastive learning cần batch lớn: batch càng lớn càng nhiều "nhiễu" cần phân biệt.

Code và ứng dụng

clip_inference.py

# Inference với CLIP — zero-shot classification ảnh ẩm thực Việt
import torch
from transformers import CLIPProcessor, CLIPModel
from PIL import Image

# 1. Tải mô hình tiền huấn luyện của OpenAI
device = "cuda" if torch.cuda.is_available() else "cpu"
model = CLIPModel.from_pretrained("openai/clip-vit-large-patch14").to(device)
processor = CLIPProcessor.from_pretrained("openai/clip-vit-large-patch14")
model.eval()

# 2. Chuẩn bị input
image = Image.open("mon-an.jpg").convert("RGB")

# Dùng prompt template — cải thiện ~5% accuracy
labels_raw = ["pho bo", "banh mi", "com tam", "bun cha"]
labels = [f"a photo of {lbl}, a Vietnamese dish" for lbl in labels_raw]

inputs = processor(
    text=labels,
    images=image,
    return_tensors="pt",
    padding=True,
).to(device)

# 3. Forward pass — lấy logits_per_image đã chia theo temperature
with torch.inference_mode():
    outputs = model(**inputs)
    logits = outputs.logits_per_image  # shape: [1, num_labels]
    probs = logits.softmax(dim=-1)

# 4. In kết quả — xếp theo xác suất giảm dần
scored = sorted(
    zip(labels_raw, probs[0].cpu().tolist()),
    key=lambda x: x[1],
    reverse=True,
)
for label, p in scored:
    print(f"{label:10s} → {p*100:5.1f}%")

# 5. Truy cập embedding trực tiếp (ví dụ cho image retrieval)
image_features = model.get_image_features(**{
    k: v for k, v in inputs.items() if k in ("pixel_values",)
})
text_features = model.get_text_features(**{
    k: v for k, v in inputs.items()
    if k in ("input_ids", "attention_mask")
})

# L2-normalize rồi cosine = dot product
image_features = image_features / image_features.norm(dim=-1, keepdim=True)
text_features = text_features / text_features.norm(dim=-1, keepdim=True)

similarity = image_features @ text_features.T  # [1, num_labels]
print("Cosine similarity:", similarity.cpu().tolist())

Vì sao batch size lớn

Tại sao CLIP cần batch size khổng lồ (32.768)?

Contrastive learning học bằng cách phân biệt cặp đúng với cặp sai. Trong batch N, mỗi ảnh có đúng 1 mô tả khớp và N−1 mô tả không khớp. Batch nhỏ → ít negative → "dễ đoán" → mô hình học nông.

Bài báo CLIP dùng batch 32.768 chia trên nhiều GPU. Mỗi bước lan truyền ngược, một ảnh phải phân biệt mô tả đúng với 32.767 mô tả sai. Đây là lý do không gian embedding của CLIP rất "sạch" — các lớp ngữ nghĩa tách biệt rõ.

Kỹ thuật thực tế: gather-all trên nhiều GPU để mỗi GPU thấy toàn bộ batch khi tính softmax. Các biến thể như SigLIP (Google 2023) thay softmax bằng sigmoid → không cần gather → train được batch lớn hơn mà ít tốn memory.

Prompt engineering cho CLIP — mẹo thực dụng

CLIP nhạy cảm với cách bạn viết nhãn. Vài mẹo từ paper và cộng đồng:

  • Dùng template đa dạng và lấy trung bình: OpenAI cung cấp 80 template kiểu "a photo of a {label}", "a bad photo of a {label}", "a close-up photo of a {label}".... Lấy trung bình embedding của 80 mô tả → text embedding ổn định hơn → accuracy +3-5%.
  • Thêm ngữ cảnh: "a photo of a {label}, a type of food" tốt hơn "{label}" khi các nhãn thuộc cùng category (ví dụ: món ăn).
  • Tránh từ hiếm: "scooter" tốt hơn "motorbike for sale in Hanoi". CLIP train trên caption tự nhiên ngắn gọn.
  • Dùng tiếng Anh nếu có thể: CLIP gốc lệch về tiếng Anh. Với văn hoá Việt, dùng Multilingual-CLIP hoặc mBLIP.

Một mẹo hay: biến zero-shot thành few-shot bằng cách lấy trung bình embedding của vài ảnh mẫu cho mỗi class thay vì embedding của prompt. Gọi là prototype embedding.

Thử thách 2

Bạn huấn luyện CLIP trên 100 triệu cặp với batch = 256. Accuracy zero-shot ImageNet chỉ đạt 45% (OpenAI đạt 76%). Lỗi có thể nằm ở đâu NHẤT?

Batch 256 chỉ cho 255 negatives/sample — quá ít cho contrastive learning. CLIP gốc dùng 32.768. Khi batch nhỏ, loss rất dễ đạt — mô hình học nông. Dữ liệu ở đây đủ (OpenAI cũng dùng 400M). Giải pháp: dùng gradient accumulation hoặc SigLIP, hoặc tăng GPU count.

Tóm tắt

  • CLIP liên kết ảnh và văn bản trong CÙNG MỘT không gian vector bằng contrastive learning trên 400M cặp.
  • Ma trận N×N similarity: đường chéo = cặp đúng cần kéo gần, ngoài đường chéo = cặp sai cần đẩy xa.
  • Zero-shot classification: viết mô tả cho mỗi nhãn, encode, so cosine — không cần fine-tune.
  • InfoNCE loss đối xứng + temperature τ (~0.07) học được + batch lớn (32k) là ba yếu tố quyết định.
  • CLIP là nền tảng cho Stable Diffusion (text encoder), image search, VLM, và moderation.
  • Hạn chế: bias tiếng Anh, yếu counting/spatial reasoning, fine-grained chưa sánh được với classifier chuyên biệt.

Continue the module

Lesson 7 of 13