ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← NLP & Multimodal

AI Researcher

Mô hình đa phương thức thống nhất

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Mô hình AI duy nhất có thể hiểu và sinh ra nhiều loại dữ liệu: văn bản, ảnh, âm thanh, video trong cùng một kiến trúc.

lesson102 minNLP & MultimodalAI Researcher

Dự đoán

Bạn muốn AI xem video clip du lịch Đà Nẵng và viết bài review kèm ảnh minh hoạ. Cần bao nhiêu mô hình AI riêng biệt?

Với mô hình đa phương thức thống nhất (như Gemini hoặc GPT-4o), CHỈ CẦN MỘT mô hình! Nó nhận video đầu vào, hiểu nội dung thị giác + âm thanh, sinh bài viết văn bản, và có thể tạo ảnh minh hoạ — tất cả trong cùng một kiến trúc. Đây là sức mạnh của any-to-any!

Khoảnh khắc A-ha

Mô hình thống nhất giống như bộ não con người — không có module riêng cho mắt, tai, và miệng. Tất cả giác quan được xử lý trong cùng một mạng nơ-ron với biểu diễn chung. Nhờ đó, khi nghe tiếng "sủa", não tự động hình dung con chó. Any-to-any là bước đầu tiên hướng tới AI có giác quan tổng hợp như con người.

Thử thách nhanh

GPT-4o (omni) nghe giọng nói người dùng buồn rầu và phản hồi bằng giọng an ủi nhẹ nhàng. Pipeline truyền thống (ASR → LLM → TTS) có làm được điều này không?

Pipeline ASR → LLM → TTS tạo bottleneck tại bước ASR: ngữ điệu, cảm xúc, nhịp thở bị mất khi chuyển thành text. GPT-4o xử lý audio natively — hiểu cả nội dung LẪN cảm xúc trong giọng nói, rồi sinh phản hồi audio phù hợp. Đây là lý do unified model mạnh hơn.

Lý thuyết

Mô hình đa phương thức thống nhất là thế hệ AI có khả năng xử lý và sinh ra nhiều loại dữ liệu trong một kiến trúc duy nhất, thay vì ghép nối nhiều mô hình chuyên biệt như CLIP (chỉ mã hoá ảnh-văn bản) hay VLM (chỉ hiểu ảnh, sinh văn bản).

Mỗi phương thức được tokenize thành chuỗi chung:

x=[t1,...,tm⏟text tokens,v1,...,vn⏟visual tokens,a1,...,ak⏟audio tokens]\mathbf{x} = [\underbrace{t_1, ..., t_m}_{\text{text tokens}}, \underbrace{v_1, ..., v_n}_{\text{visual tokens}}, \underbrace{a_1, ..., a_k}_{\text{audio tokens}}]

Transformer xử lý toàn bộ chuỗi x\mathbf{x} bằng self-attention, tự động học mối liên hệ giữa text token, visual token, và audio token.

Các mô hình và thách thức

unified_multimodal.py

# Ví dụ sử dụng Gemini 2.0 (any-to-any)
import google.generativeai as genai

model = genai.GenerativeModel("gemini-2.0-flash")

# Any-to-any: Video → Text analysis
video = genai.upload_file("du-lich-da-nang.mp4")
response = model.generate_content([
    video,
    "Phân tích video du lịch này và viết review "
    "500 từ bằng tiếng Việt, nhấn mạnh cảnh đẹp "
    "và gợi ý lịch trình 3 ngày."
])
print(response.text)

# Image + Audio → Text understanding
image = genai.upload_file("thuc-don.jpg")
audio = genai.upload_file("order-voice.wav")
response = model.generate_content([
    image, audio,
    "Khách hàng đang order gì từ thực đơn này?"
])

Xu hướng tương lai

Tóm tắt

  • Unified = MỘT mô hình hiểu và sinh TẤT CẢ loại dữ liệu, khác pipeline ghép nối nhiều mô hình.
  • Tokenize mọi phương thức (text → BPE, ảnh → VQ-VAE, audio → codec) rồi Transformer xử lý đồng nhất.
  • Ưu điểm: hiểu cross-modal sâu (ngữ điệu + nội dung + thị giác), any-to-any linh hoạt.
  • Pipeline mất thông tin tại bottleneck (ASR → text bỏ mất cảm xúc giọng nói).
  • GPT-4o, Gemini 2.0, Chameleon là các unified model tiêu biểu, hướng tới AGI đa giác quan.

Continue the module

Lesson 9 of 13