Dự đoán
Đáp án 3 mô tả chính xác cách CLIP hoạt động! CLIP đã liên kết ảnh và văn bản trong cùng không gian vector, nên bạn chỉ cần gõ mô tả và tìm ảnh có embedding gần nhất. Không cần dữ liệu huấn luyện riêng cho 'phở' — đây là zero-shot search!
Evaluating routing across providers.
AI Researcher
Mô hình học cách liên kết hình ảnh và văn bản trong cùng một không gian vector, cho phép tìm kiếm ảnh bằng ngôn ngữ tự nhiên.
Đáp án 3 mô tả chính xác cách CLIP hoạt động! CLIP đã liên kết ảnh và văn bản trong cùng không gian vector, nên bạn chỉ cần gõ mô tả và tìm ảnh có embedding gần nhất. Không cần dữ liệu huấn luyện riêng cho 'phở' — đây là zero-shot search!
Đây là trái tim của CLIP: ma trận cosine similarity giữa mọi ảnh và mọi mô tả trong cùng một batch. Hàng là ảnh, cột là mô tả. Mỗi ô hiển thị độ tương đồng (0 → 1) giữa embedding của ảnh hàng và embedding của mô tả cột.
Khi chưa huấn luyện, encoder khởi tạo ngẫu nhiên nên mọi ô đều xấp xỉ nhau. Khi đã huấn luyện bằng contrastive loss, đường chéo (ảnh i ↔ mô tả i — cặp đúng) sáng lên, còn các ô ngoài đường chéo (cặp sai) tối đi.
CLIP không phải bộ phân loại ảnh — nó là bộ dịch giữa hai ngôn ngữ: ngôn ngữ thị giác và ngôn ngữ văn bản. Bằng cách đặt cả hai vào cùng một không gian vector, bất kỳ ảnh nào cũng có thể được tìm bằng bất kỳ mô tả nào — mà không cần huấn luyện riêng cho từng task!
Đã hiểu CLIP học gì, giờ ta xem nó dùng ra sao. Cho một ảnh bất kỳ và một danh sách nhãn dạng văn bản, CLIP sẽ chọn nhãn có embedding gần với ảnh nhất — không cần train lại.
Zero-shot classification BẮT BUỘC phải chọn trong các nhãn cho sẵn. Khi không có nhãn 'bún chả', CLIP chọn nhãn gần nhất — 'phở' — vì cả hai đều có bún và nước. Bài học: danh sách nhãn phải đủ bao phủ tất cả khả năng!
CLIP (Contrastive Language-Image Pre-training) do OpenAI công bố năm 2021, học cách liên kết hình ảnh và văn bản trong cùng không gian vector thông qua học tương phản (contrastive learning) trên 400 triệu cặp ảnh-mô tả từ internet (WebImageText / WIT). CLIP là nền tảng cho các VLM, các kiến trúc unified multimodal, và hầu hết hệ thống text-to-image hiện đại.
Loss function của CLIP (InfoNCE đối xứng):
là cosine similarity. là temperature (khởi tạo từ 0.07 và học như tham số). Loss đối xứng: cả ảnh tìm mô tả và mô tả tìm ảnh.
Về mặt trực giác, InfoNCE chính là cross-entropy trên ma trận N×N:
Ảnh i phải "phân loại" đúng mô tả i trong N lựa chọn. Đây là lý do contrastive learning cần batch lớn: batch càng lớn càng nhiều "nhiễu" cần phân biệt.
# Inference với CLIP — zero-shot classification ảnh ẩm thực Việt
import torch
from transformers import CLIPProcessor, CLIPModel
from PIL import Image
# 1. Tải mô hình tiền huấn luyện của OpenAI
device = "cuda" if torch.cuda.is_available() else "cpu"
model = CLIPModel.from_pretrained("openai/clip-vit-large-patch14").to(device)
processor = CLIPProcessor.from_pretrained("openai/clip-vit-large-patch14")
model.eval()
# 2. Chuẩn bị input
image = Image.open("mon-an.jpg").convert("RGB")
# Dùng prompt template — cải thiện ~5% accuracy
labels_raw = ["pho bo", "banh mi", "com tam", "bun cha"]
labels = [f"a photo of {lbl}, a Vietnamese dish" for lbl in labels_raw]
inputs = processor(
text=labels,
images=image,
return_tensors="pt",
padding=True,
).to(device)
# 3. Forward pass — lấy logits_per_image đã chia theo temperature
with torch.inference_mode():
outputs = model(**inputs)
logits = outputs.logits_per_image # shape: [1, num_labels]
probs = logits.softmax(dim=-1)
# 4. In kết quả — xếp theo xác suất giảm dần
scored = sorted(
zip(labels_raw, probs[0].cpu().tolist()),
key=lambda x: x[1],
reverse=True,
)
for label, p in scored:
print(f"{label:10s} → {p*100:5.1f}%")
# 5. Truy cập embedding trực tiếp (ví dụ cho image retrieval)
image_features = model.get_image_features(**{
k: v for k, v in inputs.items() if k in ("pixel_values",)
})
text_features = model.get_text_features(**{
k: v for k, v in inputs.items()
if k in ("input_ids", "attention_mask")
})
# L2-normalize rồi cosine = dot product
image_features = image_features / image_features.norm(dim=-1, keepdim=True)
text_features = text_features / text_features.norm(dim=-1, keepdim=True)
similarity = image_features @ text_features.T # [1, num_labels]
print("Cosine similarity:", similarity.cpu().tolist())Contrastive learning học bằng cách phân biệt cặp đúng với cặp sai. Trong batch N, mỗi ảnh có đúng 1 mô tả khớp và N−1 mô tả không khớp. Batch nhỏ → ít negative → "dễ đoán" → mô hình học nông.
Bài báo CLIP dùng batch 32.768 chia trên nhiều GPU. Mỗi bước lan truyền ngược, một ảnh phải phân biệt mô tả đúng với 32.767 mô tả sai. Đây là lý do không gian embedding của CLIP rất "sạch" — các lớp ngữ nghĩa tách biệt rõ.
Kỹ thuật thực tế: gather-all trên nhiều GPU để mỗi GPU thấy toàn bộ batch khi tính softmax. Các biến thể như SigLIP (Google 2023) thay softmax bằng sigmoid → không cần gather → train được batch lớn hơn mà ít tốn memory.
CLIP nhạy cảm với cách bạn viết nhãn. Vài mẹo từ paper và cộng đồng:
Một mẹo hay: biến zero-shot thành few-shot bằng cách lấy trung bình embedding của vài ảnh mẫu cho mỗi class thay vì embedding của prompt. Gọi là prototype embedding.
Batch 256 chỉ cho 255 negatives/sample — quá ít cho contrastive learning. CLIP gốc dùng 32.768. Khi batch nhỏ, loss rất dễ đạt — mô hình học nông. Dữ liệu ở đây đủ (OpenAI cũng dùng 400M). Giải pháp: dùng gradient accumulation hoặc SigLIP, hoặc tăng GPU count.