AI Builder
Kiến trúc
Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.CNN, RNN, LSTM và hạn chế; Transformer (self-attention, multi-head, positional encoding) Residual connections, weight init (Xavier, He), batch norm SGD, momentum, Adam, AdamW
Format
Guided module
Duration
18h
Lessons
12
What you will practice
- CNN, RNN, LSTM và hạn chế; Transformer (self-attention, multi-head, positional encoding)
- Residual connections, weight init (Xavier, He), batch norm
- SGD, momentum, Adam, AdamW
Lesson order
12 lessonsMạng nơ-ron tích chập
Kiến trúc chuyên xử lý ảnh bằng các bộ lọc tích chập trượt qua dữ liệu.
Mạng nơ-ron hồi quy
Kiến trúc xử lý dữ liệu tuần tự bằng cách truyền trạng thái ẩn qua các bước thời gian
Bộ nhớ dài-ngắn hạn
Biến thể RNN với cơ chế cổng giúp nhớ thông tin dài hạn hiệu quả
Kiến trúc Transformer
Kiến trúc nền tảng của mọi LLM hiện đại, dùng self-attention thay vì hồi quy
Tự chú ý
Cơ chế cho phép mỗi vị trí trong chuỗi chú ý đến mọi vị trí khác
Chú ý đa đầu
Chạy nhiều cơ chế attention song song, mỗi đầu học một kiểu quan hệ khác nhau
Mã hóa vị trí
Thêm thông tin vị trí vào embedding vì Transformer không có khái niệm thứ tự
Kết nối tắt
Đường tắt cho gradient đi qua, cho phép huấn luyện mạng rất sâu mà không bị gradient biến mất
Khởi tạo trọng số
Chiến lược chọn giá trị ban đầu cho trọng số, ảnh hưởng lớn đến tốc độ và khả năng hội tụ.
Chuẩn hóa theo lô
Kỹ thuật chuẩn hóa đầu vào mỗi lớp theo thống kê mini-batch để ổn định gradient, tăng tốc hội tụ, và giảm internal covariate shift.
Hạ gradient ngẫu nhiên
Biến thể hiệu quả của gradient descent, cập nhật trọng số sau mỗi mẫu hoặc mỗi lô nhỏ.
Bộ tối ưu hóa
Các thuật toán cải tiến gradient descent, giúp huấn luyện nhanh hơn và ổn định hơn.