Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.
Hai vấn đề khiến việc huấn luyện mạng sâu trở nên khó khăn khi gradient quá nhỏ hoặc quá lớn.
lesson140 minLý thuyết sâuAI Researcher
Dự đoán
0.5^10 ≈ 0.001 = 0.1%! Đây chính là vanishing gradient: qua 10 lớp với hệ số < 1, gradient gần như biến mất. Lớp đầu không nhận được tín hiệu lỗi!
Trong backpropagation, gradient phải đi qua nhiều phép nhân liên tiếp. Nếu hệ số nhân nhỏ hơn 1 → triệt tiêu, lớn hơn 1 → bùng nổ. Hãy kéo thanh trượt để thấy gradient thay đổi theo cấp số nhân qua 10 lớp.
Hệ số gradient qua nhiều lớp
Hệ số mỗi lớp
Sau 10 lớp (ví dụ tính toán)
Kết quả
0.2
0.2^10 ≈ 1.0 × 10⁻⁷
Triệt tiêu
1.0
1.0^10 = 1
Ổn định
2.0
2^10 = 1024
Bùng nổ
Khoảnh khắc Aha
Gradient đi qua N lớp = nhân N hệ số liên tiếp. Nếu hệ số = 0.5 → 0.510≈0.001 (triệt tiêu). Nếu = 2.0 → 210=1024 (bùng nổ). Đây là lý do mạng sâu 100+ lớp cần ReLU, BatchNorm, và skip connections!
Thử thách 1
0.25^20 ≈ 10^-12! Gradient nhỏ hơn 1 phần nghìn tỷ. Lớp đầu hoàn toàn không cập nhật được. Đây là lý do sigmoid bị thay bằng ReLU (đạo hàm = 1 ở vùng dương).
Chain rule và giải pháp
Khi gradient đi qua N lớp trong backpropagation, theo chain rule:
∂w1∂L=∂aN∂L⋅i=1∏N∂ai−1∂ai
Nếu mỗi ∂ai−1∂ai<1 → tích tiến về 0 (vanishing). Nếu > 1 → tích tiến về ∞ (exploding).
5 giải pháp chính:
Giải pháp
Chống
Cơ chế
ReLU
Vanishing
Đạo hàm = 1 ở vùng dương, không thu nhỏ gradient
BatchNorm
Cả hai
Chuẩn hóa phân phối, giữ gradient trong khoảng ổn định
Skip Connections
Vanishing
y = F(x) + x → gradient luôn có đường đi qua "+x"
Gradient Clipping
Exploding
Cắt gradient không cho vượt ngưỡng (max_norm)
He/Xavier Init
Cả hai
Khởi tạo trọng số giữ phương sai ổn định qua các lớp
gradient_solutions.py
importtorchimporttorch.nnasnn# 1. ReLU thay sigmoid ở lớp ẩnmodel=nn.Sequential(nn.Linear(256,256),nn.ReLU(),# đạo hàm = 1nn.Linear(256,256),nn.ReLU(),# ...100 lớp)# 2. He initialization cho ReLUforminmodel.modules():ifisinstance(m,nn.Linear):nn.init.kaiming_normal_(m.weight,nonlinearity='relu')# 3. Gradient clipping (chống exploding)optimizer.zero_grad()loss.backward()torch.nn.utils.clip_grad_norm_(model.parameters(),max_norm=1.0)optimizer.step()# 4. Skip connection (ResNet block)classResBlock(nn.Module):def__init__(self,dim):super().__init__()self.layers=nn.Sequential(nn.Linear(dim,dim),nn.ReLU(),nn.Linear(dim,dim),)defforward(self,x):returnx+self.layers(x)# gradient đi qua "+x" không triệt tiêu
Thử thách nâng cao
NaN thường do exploding gradient: gradient cực lớn → trọng số cực lớn → tính toán tràn float32. Gradient clipping (max_norm=1.0) và giảm LR là first aid.
Tóm tắt
Gradient qua N lớp = tích N hệ số. Hệ số < 1 → triệt tiêu (0.5^10 ≈ 0.001). Hệ số > 1 → bùng nổ (2^10 = 1024).
Sigmoid/Tanh có đạo hàm ≤ 0.25 → nguyên nhân chính gây vanishing. ReLU (đạo hàm = 1) giải quyết.
Skip connections (ResNet) cho gradient đi tắt qua '+x' — đột phá cho mạng sâu 100+ lớp.
Gradient clipping cắt norm gradient tối đa — first aid cho exploding gradient.