Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.
Autoencoder với không gian tiềm ẩn có cấu trúc xác suất, cho phép sinh dữ liệu mới
lesson115 minKiến trúc tiên tiếnAI Researcher
Dự đoán
Autoencoder thường: mỗi ảnh → 1 điểm cô lập. Giữa các điểm là 'sa mạc' → output vô nghĩa. VAE giải quyết bằng cách biến mỗi điểm thành 'đám mây' (phân bố Gaussian) → các đám mây overlap → nội suy mượt!
VAE là bước tiến hoá của autoencoder thành mô hình sinh, đi trước GAN và diffusion models.
Khám phá latent space
Hãy tưởng tượng bản đồ Google Maps. Autoencoder thường giống bản đồ chỉ có vài chấm thành phố — giữa chúng là biển trắng. VAE giống bản đồ liên tục — mỗi nơi đều có địa hình, bạn đi từ Sài Gòn ra Huế thấy cảnh thay đổi dần.
Mỗi "đám mây" quanh điểm = phân bố Gaussian mà VAE học được. Các đám mây overlap → latent space liên tục → sinh dữ liệu mới bằng cách lấy mẫu bất kỳ đâu!
Bạn vừa thấy sự khác biệt cốt lõi: autoencoder → điểm cô lập, VAE → vùng mờ overlap. Nhưng bằng cách nào VAE tạo ra sự "mờ" này?
Khoảnh khắc Aha
VAE = Autoencoder + Xác suất! Encoder không xuất z cố định mà xuất μ (trung tâm) và σ (mức độ "mờ"). Rồi lấy mẫu: z = μ + σ × ε. KL divergence ép các đám mây gần nhau → latent space liên tục.
Giống bạn vẽ bản đồ: thay vì đặt 1 ghim cho mỗi quán phở, bạn tô 1 vùng tròn mờ quanh nó. Các vùng overlap → bạn đi giữa 2 quán vẫn thấy quán khác gần đó!
Reparameterization trick
Vấn đề: Backprop không đi qua phép sampling
Cách sai (không gradient)
z ~ N(μ, σ²) — phép sampling ngẫu nhiên, gradient không chảy qua được.
μ, σ → SAMPLE → z ❌ no gradient!
Reparameterization trick (gradient ok!)
z = μ + σ × ε, ε ~ N(0,1). Random tách ra ε, gradient chảy qua μ và σ.
μ, σ → μ + σ × ε → z ✅ gradient flows!
Thử thách
β quá lớn → KL loss chi phối → encoder ép phân bố về N(0,1) cho mọi ảnh → tất cả ảnh cùng 1 phân bố → latent code không mang thông tin → decoder phải 'đoán' → output mờ nhòe. Đây gọi là posterior collapse.
Giải thích chi tiết
VAE (Variational Autoencoder) (Kingma & Welling, 2013) biến autoencoder thành mô hình sinh bằng cách thêm cấu trúc xác suất vào latent space.