AI Researcher
Kiến trúc tiên tiến
Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.Transformer and Flash Attention; VAE, GAN, diffusion, autoencoder MoE, state-space models, ViT, U-Net, NeRF
Format
Guided module
Duration
23h
Lessons
12
What you will practice
- Transformer and Flash Attention; VAE, GAN, diffusion, autoencoder
- MoE, state-space models, ViT, U-Net, NeRF
Lesson order
12 lessonsKiến trúc Transformer
Kiến trúc nền tảng của mọi LLM hiện đại, dùng self-attention thay vì hồi quy
Tự chú ý
Cơ chế cho phép mỗi vị trí trong chuỗi chú ý đến mọi vị trí khác
Flash Attention
Thuật toán tối ưu tính attention nhanh hơn và tiết kiệm bộ nhớ GPU bằng kỹ thuật tiling
Bộ tự mã hóa
Mạng nén dữ liệu vào biểu diễn chiều thấp rồi tái tạo lại, học đặc trưng quan trọng nhất.
Bộ tự mã hóa biến phân
Autoencoder với không gian tiềm ẩn có cấu trúc xác suất, cho phép sinh dữ liệu mới
Mạng đối sinh
Hai mạng cạnh tranh: Generator tạo dữ liệu giả, Discriminator phân biệt thật/giả
Mô hình khuếch tán
Sinh dữ liệu bằng cách học đảo ngược quá trình thêm nhiễu từng bước
Hỗn hợp chuyên gia — Chia để trị
Kiến trúc mô hình sử dụng nhiều mạng con chuyên biệt (chuyên gia), chỉ kích hoạt một vài chuyên gia cho mỗi đầu vào.
Mô hình không gian trạng thái — Đối thủ của Transformer
Kiến trúc mô hình tuần tự hiệu quả dựa trên lý thuyết hệ thống điều khiển, xử lý chuỗi dài nhanh hơn Transformer.
Transformer thị giác
Áp dụng kiến trúc Transformer trực tiếp cho hình ảnh bằng cách chia ảnh thành các patch
Kiến trúc U-Net
Kiến trúc encoder-decoder hình chữ U với skip connections cho phân đoạn ảnh
Trường bức xạ nơ-ron
Biểu diễn cảnh 3D bằng mạng nơ-ron, tái tạo góc nhìn mới từ ảnh 2D