Dự đoán
Bốn optimizer dưới đây chạy trên một bề mặt loss hình elip dài, mô phỏng thung lũng hẹp phổ biến trong deep learning. Cả bốn đều là biến thể của gradient descent.
Evaluating routing across providers.
AI Builder
Các thuật toán cải tiến gradient descent, giúp huấn luyện nhanh hơn và ổn định hơn.
Bốn optimizer dưới đây chạy trên một bề mặt loss hình elip dài, mô phỏng thung lũng hẹp phổ biến trong deep learning. Cả bốn đều là biến thể của gradient descent.
Adam = Momentum + RMSProp + Bias Correction. Momentum tích luỹ đà để đi nhanh theo hướng nhất quán. RMSProp chia learning rate cho độ lớn gradient gần đây theo từng chiều, nên bước ngắn ở trục dao động. Bias correction sửa sai lệch ban đầu. Kết quả: hội tụ nhanh và ổn định.
| Optimizer | Learning rate mặc định | Khi nào dùng |
|---|---|---|
| SGD + Momentum | 0,01 – 0,1 | Vision (ResNet, EfficientNet) khi cần generalization tốt |
| Adam | 0,001 | Mặc định cho hầu hết bài toán, NLP, GAN |
| AdamW | 0,001 | Transformer (GPT, BERT, ViT), weight decay tách riêng |
| RMSProp | 0,001 | RNN, RL (đang dần được Adam thay thế) |
import torch.optim as optim
# SGD + Momentum (vision tasks)
opt_sgd = optim.SGD(model.parameters(), lr=0.01, momentum=0.9)
# Adam (mặc định cho hầu hết)
opt_adam = optim.Adam(model.parameters(), lr=1e-3)
# AdamW (Transformer, weight decay tách riêng)
opt_adamw = optim.AdamW(
model.parameters(), lr=1e-3, weight_decay=0.01
)
# LR scheduler (quan trọng cho SGD)
scheduler = optim.lr_scheduler.CosineAnnealingLR(
opt_sgd, T_max=100
)