ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← NLP & Multimodal

AI Researcher

Mô hình Ngôn ngữ — Thị giác

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Mô hình AI có khả năng hiểu đồng thời cả hình ảnh và văn bản, cho phép hỏi đáp về nội dung hình ảnh.

lesson102 minNLP & MultimodalAI Researcher

Dự đoán

Bạn gửi ảnh chụp hoá đơn nhà hàng cho AI và hỏi 'Tổng tiền bao nhiêu?'. AI cần những năng lực nào?

Đúng! AI cần nhìn thấy (OCR), hiểu bố cục bảng (thị giác), VÀ suy luận tính toán (ngôn ngữ). Đây chính là lý do VLM cần kết hợp cả thị giác lẫn ngôn ngữ trong một mô hình duy nhất.

Khoảnh khắc A-ha

VLM không phải là OCR hay nhận dạng ảnh thông thường. Điều đặc biệt là nó kết hợp đôi mắt (Vision Encoder) với bộ não ngôn ngữ (LLM) qua một lớp cầu nối (Projection Layer), giúp AI suy luận về những gì nhìn thấy thay vì chỉ mô tả bề mặt.

Thử thách nhanh

Bạn đưa VLM ảnh chụp thực đơn nhà hàng và hỏi 'Món nào phù hợp cho người ăn chay?'. VLM cần làm gì?

VLM cần kết hợp ba năng lực: (1) đọc chữ trên ảnh, (2) hiểu ngữ nghĩa mô tả món ăn, (3) suy luận về thành phần nguyên liệu để xác định món chay. Đây là sức mạnh của việc kết hợp thị giác và ngôn ngữ.

Kiến trúc ba thành phần

Vision-Language Models (VLM) là mô hình AI kết hợp khả năng hiểu hình ảnh và ngôn ngữ tự nhiên trong một kiến trúc thống nhất. Thay vì dùng nhiều mô hình riêng lẻ cho OCR, phân loại ảnh, và trả lời câu hỏi, VLM làm tất cả với một bộ tham số duy nhất.

Luồng xử lý

Quá trình xử lý một câu hỏi về ảnh diễn ra như sau:

Image→ViTzvis→Projhvis  ∥  htext→LLMResponse\text{Image} \xrightarrow{\text{ViT}} \mathbf{z}_{\text{vis}} \xrightarrow{\text{Proj}} \mathbf{h}_{\text{vis}} \;\|\; \mathbf{h}_{\text{text}} \xrightarrow{\text{LLM}} \text{Response}

Trong đó zvis\mathbf{z}_{\text{vis}} là vector đặc trưng ảnh, hvis\mathbf{h}_{\text{vis}} là vector đã chiếu, ∥\| là phép nối (concatenation) với embedding văn bản.

Code mẫu

vlm_inference.py

from transformers import LlavaForConditionalGeneration, AutoProcessor
from PIL import Image

# Tải mô hình LLaVA (VLM mã nguồn mở)
model = LlavaForConditionalGeneration.from_pretrained(
    "llava-hf/llava-v1.6-mistral-7b-hf"
)
processor = AutoProcessor.from_pretrained(
    "llava-hf/llava-v1.6-mistral-7b-hf"
)

# Hỏi đáp về ảnh biển hiệu tiếng Việt
image = Image.open("bien-hieu-pho.jpg")
prompt = "<image>\nBiển hiệu này ghi gì? Giá bao nhiêu?"

inputs = processor(prompt, image, return_tensors="pt")
output = model.generate(**inputs, max_new_tokens=200)
print(processor.decode(output[0], skip_special_tokens=True))
# "Phở Thìn Bờ Hồ - Mở cửa 6h-22h - Giá từ 50.000đ"

Hạn chế và tiếng Việt

Ứng dụng thực tế

Tóm tắt

  • VLM = Vision Encoder + Projection Layer + LLM, kết hợp 'nhìn' và 'hiểu' trong một mô hình.
  • Projection Layer là cầu nối quan trọng nhất — chiếu vector ảnh sang không gian ngôn ngữ.
  • VLM thực hiện được nhiều tác vụ: mô tả ảnh, hỏi đáp, OCR, suy luận thị giác.
  • Hạn chế chính: ảo giác (hallucination) khi mô tả chi tiết không có trong ảnh.
  • Các VLM hàng đầu: GPT-4V, Claude 3, Gemini (đóng), LLaVA (mở) — đều hỗ trợ tiếng Việt.

Continue the module

Lesson 8 of 13