Dự đoán
Đúng! AI cần nhìn thấy (OCR), hiểu bố cục bảng (thị giác), VÀ suy luận tính toán (ngôn ngữ). Đây chính là lý do VLM cần kết hợp cả thị giác lẫn ngôn ngữ trong một mô hình duy nhất.
Evaluating routing across providers.
AI Researcher
Mô hình AI có khả năng hiểu đồng thời cả hình ảnh và văn bản, cho phép hỏi đáp về nội dung hình ảnh.
Đúng! AI cần nhìn thấy (OCR), hiểu bố cục bảng (thị giác), VÀ suy luận tính toán (ngôn ngữ). Đây chính là lý do VLM cần kết hợp cả thị giác lẫn ngôn ngữ trong một mô hình duy nhất.
VLM không phải là OCR hay nhận dạng ảnh thông thường. Điều đặc biệt là nó kết hợp đôi mắt (Vision Encoder) với bộ não ngôn ngữ (LLM) qua một lớp cầu nối (Projection Layer), giúp AI suy luận về những gì nhìn thấy thay vì chỉ mô tả bề mặt.
VLM cần kết hợp ba năng lực: (1) đọc chữ trên ảnh, (2) hiểu ngữ nghĩa mô tả món ăn, (3) suy luận về thành phần nguyên liệu để xác định món chay. Đây là sức mạnh của việc kết hợp thị giác và ngôn ngữ.
Vision-Language Models (VLM) là mô hình AI kết hợp khả năng hiểu hình ảnh và ngôn ngữ tự nhiên trong một kiến trúc thống nhất. Thay vì dùng nhiều mô hình riêng lẻ cho OCR, phân loại ảnh, và trả lời câu hỏi, VLM làm tất cả với một bộ tham số duy nhất.
Quá trình xử lý một câu hỏi về ảnh diễn ra như sau:
Trong đó là vector đặc trưng ảnh, là vector đã chiếu, là phép nối (concatenation) với embedding văn bản.
from transformers import LlavaForConditionalGeneration, AutoProcessor
from PIL import Image
# Tải mô hình LLaVA (VLM mã nguồn mở)
model = LlavaForConditionalGeneration.from_pretrained(
"llava-hf/llava-v1.6-mistral-7b-hf"
)
processor = AutoProcessor.from_pretrained(
"llava-hf/llava-v1.6-mistral-7b-hf"
)
# Hỏi đáp về ảnh biển hiệu tiếng Việt
image = Image.open("bien-hieu-pho.jpg")
prompt = "<image>\nBiển hiệu này ghi gì? Giá bao nhiêu?"
inputs = processor(prompt, image, return_tensors="pt")
output = model.generate(**inputs, max_new_tokens=200)
print(processor.decode(output[0], skip_special_tokens=True))
# "Phở Thìn Bờ Hồ - Mở cửa 6h-22h - Giá từ 50.000đ"