ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← Lý thuyết sâu

AI Researcher

Gradient triệt tiêu & bùng nổ

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Hai vấn đề khiến việc huấn luyện mạng sâu trở nên khó khăn khi gradient quá nhỏ hoặc quá lớn.

lesson140 minLý thuyết sâuAI Researcher

Dự đoán

Trò chơi 'truyền tin' qua 10 người: mỗi người thì thầm lại cho người kế tiếp. Nếu mỗi người chỉ nghe được 50% rồi truyền lại, người thứ 10 nghe được bao nhiêu % tin gốc?

0.5^10 ≈ 0.001 = 0.1%! Đây chính là vanishing gradient: qua 10 lớp với hệ số < 1, gradient gần như biến mất. Lớp đầu không nhận được tín hiệu lỗi!

Trong backpropagation, gradient phải đi qua nhiều phép nhân liên tiếp. Nếu hệ số nhân nhỏ hơn 1 → triệt tiêu, lớn hơn 1 → bùng nổ. Hãy kéo thanh trượt để thấy gradient thay đổi theo cấp số nhân qua 10 lớp.

Hệ số gradient qua nhiều lớp

Hệ số mỗi lớpSau 10 lớp (ví dụ tính toán)Kết quả
0.20.2^10 ≈ 1.0 × 10⁻⁷Triệt tiêu
1.01.0^10 = 1Ổn định
2.02^10 = 1024Bùng nổ

Khoảnh khắc Aha

Gradient đi qua N lớp = nhân N hệ số liên tiếp. Nếu hệ số = 0.5 → 0.510≈0.0010.5^{10} \approx 0.001 (triệt tiêu). Nếu = 2.0 → 210=10242^{10} = 1024 (bùng nổ). Đây là lý do mạng sâu 100+ lớp cần ReLU, BatchNorm, và skip connections!

Thử thách 1

Đạo hàm sigmoid tối đa = 0.25. Qua 20 lớp sigmoid, gradient còn bao nhiêu % so với ban đầu?

0.25^20 ≈ 10^-12! Gradient nhỏ hơn 1 phần nghìn tỷ. Lớp đầu hoàn toàn không cập nhật được. Đây là lý do sigmoid bị thay bằng ReLU (đạo hàm = 1 ở vùng dương).

Chain rule và giải pháp

Khi gradient đi qua N lớp trong backpropagation, theo chain rule:

∂L∂w1=∂L∂aN⋅∏i=1N∂ai∂ai−1\frac{\partial L}{\partial w_1} = \frac{\partial L}{\partial a_N} \cdot \prod_{i=1}^{N} \frac{\partial a_i}{\partial a_{i-1}}

Nếu mỗi ∂ai∂ai−1<1\frac{\partial a_i}{\partial a_{i-1}} < 1 → tích tiến về 0 (vanishing). Nếu > 1 → tích tiến về ∞ (exploding).

5 giải pháp chính:

Giải phápChốngCơ chế
ReLUVanishingĐạo hàm = 1 ở vùng dương, không thu nhỏ gradient
BatchNormCả haiChuẩn hóa phân phối, giữ gradient trong khoảng ổn định
Skip ConnectionsVanishingy = F(x) + x → gradient luôn có đường đi qua "+x"
Gradient ClippingExplodingCắt gradient không cho vượt ngưỡng (max_norm)
He/Xavier InitCả haiKhởi tạo trọng số giữ phương sai ổn định qua các lớp

gradient_solutions.py

import torch
import torch.nn as nn

# 1. ReLU thay sigmoid ở lớp ẩn
model = nn.Sequential(
    nn.Linear(256, 256), nn.ReLU(),  # đạo hàm = 1
    nn.Linear(256, 256), nn.ReLU(),
    # ...100 lớp
)

# 2. He initialization cho ReLU
for m in model.modules():
    if isinstance(m, nn.Linear):
        nn.init.kaiming_normal_(m.weight, nonlinearity='relu')

# 3. Gradient clipping (chống exploding)
optimizer.zero_grad()
loss.backward()
torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)
optimizer.step()

# 4. Skip connection (ResNet block)
class ResBlock(nn.Module):
    def __init__(self, dim):
        super().__init__()
        self.layers = nn.Sequential(
            nn.Linear(dim, dim), nn.ReLU(),
            nn.Linear(dim, dim),
        )
    def forward(self, x):
        return x + self.layers(x)  # gradient đi qua "+x" không triệt tiêu

Thử thách nâng cao

Loss đột ngột trở thành NaN ở epoch 50. Nguyên nhân có thể nhất là gì?

NaN thường do exploding gradient: gradient cực lớn → trọng số cực lớn → tính toán tràn float32. Gradient clipping (max_norm=1.0) và giảm LR là first aid.

Tóm tắt

  • Gradient qua N lớp = tích N hệ số. Hệ số < 1 → triệt tiêu (0.5^10 ≈ 0.001). Hệ số > 1 → bùng nổ (2^10 = 1024).
  • Sigmoid/Tanh có đạo hàm ≤ 0.25 → nguyên nhân chính gây vanishing. ReLU (đạo hàm = 1) giải quyết.
  • Skip connections (ResNet) cho gradient đi tắt qua '+x' — đột phá cho mạng sâu 100+ lớp.
  • Gradient clipping cắt norm gradient tối đa — first aid cho exploding gradient.
  • Combo: ReLU + BatchNorm + He Init + Skip Connections = mạng sâu ổn định.

Continue the module

Lesson 2 of 3