Dự đoán
Không chỉ là 240 lần! Ngoài việc tạo 240 frame, mô hình còn phải xử lý temporal attention giữa TẤT CẢ các frame để đảm bảo nhất quán. Chi phí tính toán tăng theo bình phương số frame. Đây là lý do text-to-video cần GPU cluster khổng lồ.
Evaluating routing across providers.
AI Researcher
Mô hình AI tạo ra đoạn video liền mạch từ mô tả bằng ngôn ngữ tự nhiên, bao gồm cả chuyển động và âm thanh.
Không chỉ là 240 lần! Ngoài việc tạo 240 frame, mô hình còn phải xử lý temporal attention giữa TẤT CẢ các frame để đảm bảo nhất quán. Chi phí tính toán tăng theo bình phương số frame. Đây là lý do text-to-video cần GPU cluster khổng lồ.
Text-to-video không phải text-to-image chạy 240 lần. Nếu chỉ tạo từng frame độc lập, video sẽ nhảy giật như slideshow. Bí quyết là temporal attention — mỗi frame nhìn vào các frame xung quanh để đảm bảo chuyển động liền mạch. Đây là chiều thứ ba mà text-to-image không cần: chiều thời gian.
Đây là lỗi nhất quán thời gian (temporal consistency). Thuộc tính thị giác của đối tượng (màu giày, kiểu áo, khuôn mặt) phải được duy trì nhất quán xuyên suốt video. Mô hình cần temporal attention đủ mạnh để 'nhớ' giày đen ở frame đầu.
Text-to-Video mở rộng text-to-image bằng cách thêm chiều thời gian, tạo ra chuỗi frame liền mạch từ mô tả văn bản. Nền tảng vẫn là mô hình khuếch tán, chỉ khác ở chỗ mở rộng sang không gian 4D (thời gian + không gian). Đây là một trong những thách thức khó nhất của AI sinh tạo.
Spacetime patching trong DiT hoạt động như sau:
Với frame, mỗi patch có kích thước . Transformer attention giữa tất cả patches giúp đảm bảo nhất quán không gian-thời gian.