ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← NLP & Multimodal

AI Researcher

Tạo video từ văn bản — AI đạo diễn

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Mô hình AI tạo ra đoạn video liền mạch từ mô tả bằng ngôn ngữ tự nhiên, bao gồm cả chuyển động và âm thanh.

lesson102 minNLP & MultimodalAI Researcher

Dự đoán

Tạo video 10 giây (240 frame) từ prompt tốn gấp bao nhiêu lần so với tạo 1 ảnh?

Không chỉ là 240 lần! Ngoài việc tạo 240 frame, mô hình còn phải xử lý temporal attention giữa TẤT CẢ các frame để đảm bảo nhất quán. Chi phí tính toán tăng theo bình phương số frame. Đây là lý do text-to-video cần GPU cluster khổng lồ.

Khoảnh khắc A-ha

Text-to-video không phải text-to-image chạy 240 lần. Nếu chỉ tạo từng frame độc lập, video sẽ nhảy giật như slideshow. Bí quyết là temporal attention — mỗi frame nhìn vào các frame xung quanh để đảm bảo chuyển động liền mạch. Đây là chiều thứ ba mà text-to-image không cần: chiều thời gian.

Thử thách nhanh

Video AI tạo ra cho thấy một người bước đi nhưng đôi giày đổi từ đen sang trắng giữa chừng. Thách thức nào bị vi phạm?

Đây là lỗi nhất quán thời gian (temporal consistency). Thuộc tính thị giác của đối tượng (màu giày, kiểu áo, khuôn mặt) phải được duy trì nhất quán xuyên suốt video. Mô hình cần temporal attention đủ mạnh để 'nhớ' giày đen ở frame đầu.

Lý thuyết

Text-to-Video mở rộng text-to-image bằng cách thêm chiều thời gian, tạo ra chuỗi frame liền mạch từ mô tả văn bản. Nền tảng vẫn là mô hình khuếch tán, chỉ khác ở chỗ mở rộng sang không gian 4D (thời gian + không gian). Đây là một trong những thách thức khó nhất của AI sinh tạo.

Spacetime patching trong DiT hoạt động như sau:

Video ∈RT×H×W×3→patchNpatches=Tpt×Hph×Wpw\text{Video } \in \mathbb{R}^{T \times H \times W \times 3} \xrightarrow{\text{patch}} N_{\text{patches}} = \frac{T}{p_t} \times \frac{H}{p_h} \times \frac{W}{p_w}

Với TT frame, mỗi patch có kích thước pt×ph×pwp_t \times p_h \times p_w. Transformer attention giữa tất cả patches giúp đảm bảo nhất quán không gian-thời gian.

Ứng dụng tại Việt Nam

Tóm tắt

  • Text-to-video = text-to-image + chiều thời gian. Temporal attention là chìa khoá nhất quán.
  • Hai kiến trúc: U-Net 3D (thêm temporal conv) và DiT/Sora (spacetime patches + Transformer).
  • Bốn thách thức: nhất quán thời gian, vật lý đúng, chi phí tính toán, chuyển động phức tạp.
  • Video AI 2025 đã khá tốt (4-60 giây) nhưng vẫn hay lỗi vật lý và bị giới hạn thời lượng.
  • Cảnh giác: công nghệ này cũng tạo ra deepfake video — cần hiểu để phòng tránh lừa đảo.

Continue the module

Lesson 11 of 13