ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← Kiến trúc

AI Builder

Bộ tối ưu hóa

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Các thuật toán cải tiến gradient descent, giúp huấn luyện nhanh hơn và ổn định hơn.

lesson90 minKiến trúcAI Engineer

Dự đoán

Bạn đi xe máy qua một thung lũng hẹp dài. SGD đi zig-zag chậm. Cách nào giúp đi nhanh hơn?

Bốn optimizer dưới đây chạy trên một bề mặt loss hình elip dài, mô phỏng thung lũng hẹp phổ biến trong deep learning. Cả bốn đều là biến thể của gradient descent.

Khoảnh khắc Aha

Adam = Momentum + RMSProp + Bias Correction. Momentum tích luỹ đà để đi nhanh theo hướng nhất quán. RMSProp chia learning rate cho độ lớn gradient gần đây theo từng chiều, nên bước ngắn ở trục dao động. Bias correction sửa sai lệch ban đầu. Kết quả: hội tụ nhanh và ổn định.

Thử thách

SGD zig-zag trên thung lũng hẹp vì trục ngắn có gradient lớn hơn trục dài. RMSProp giải quyết thế nào?

Giải thích

SGD + Momentum

vt=βvt−1+(1−β)∇L;θ=θ−αvtv_t = \beta v_{t-1} + (1-\beta) \nabla L \quad ; \quad \theta = \theta - \alpha v_t

RMSProp

st=β2st−1+(1−β2)(∇L)2;θ=θ−αst+ϵ∇Ls_t = \beta_2 s_{t-1} + (1-\beta_2)(\nabla L)^2 \quad ; \quad \theta = \theta - \frac{\alpha}{\sqrt{s_t} + \epsilon} \nabla L

Adam (Adaptive Moment Estimation)

mt=β1mt−1+(1−β1)∇L;vt=β2vt−1+(1−β2)(∇L)2m_t = \beta_1 m_{t-1} + (1-\beta_1) \nabla L \quad ; \quad v_t = \beta_2 v_{t-1} + (1-\beta_2)(\nabla L)^2
m^t=mt1−β1t;v^t=vt1−β2t;θ=θ−αm^tv^t+ϵ\hat{m}_t = \frac{m_t}{1-\beta_1^t} \quad ; \quad \hat{v}_t = \frac{v_t}{1-\beta_2^t} \quad ; \quad \theta = \theta - \frac{\alpha \hat{m}_t}{\sqrt{\hat{v}_t} + \epsilon}

Chọn optimizer

OptimizerLearning rate mặc địnhKhi nào dùng
SGD + Momentum0,01 – 0,1Vision (ResNet, EfficientNet) khi cần generalization tốt
Adam0,001Mặc định cho hầu hết bài toán, NLP, GAN
AdamW0,001Transformer (GPT, BERT, ViT), weight decay tách riêng
RMSProp0,001RNN, RL (đang dần được Adam thay thế)

optimizers.py

import torch.optim as optim

# SGD + Momentum (vision tasks)
opt_sgd = optim.SGD(model.parameters(), lr=0.01, momentum=0.9)

# Adam (mặc định cho hầu hết)
opt_adam = optim.Adam(model.parameters(), lr=1e-3)

# AdamW (Transformer, weight decay tách riêng)
opt_adamw = optim.AdamW(
    model.parameters(), lr=1e-3, weight_decay=0.01
)

# LR scheduler (quan trọng cho SGD)
scheduler = optim.lr_scheduler.CosineAnnealingLR(
    opt_sgd, T_max=100
)

Thử thách nâng cao

Bạn huấn luyện một LLM cỡ 175 tỷ tham số. Nên dùng optimizer nào?

Tóm tắt

  • Momentum tích luỹ đà nên ít zig-zag. RMSProp chia learning rate theo lịch sử gradient bình phương, nên tự cân bằng giữa các trục.
  • Adam = Momentum + RMSProp + Bias Correction — mặc định phổ biến nhất.
  • AdamW tách weight decay riêng, cho regularization chính xác hơn, và là lựa chọn chuẩn cho Transformer.
  • SGD + Momentum + lịch learning rate thường cho generalization tốt trên bài toán vision.
  • Adam cần gấp đôi bộ nhớ so với SGD vì lưu m và v. Với mô hình hàng trăm tỷ tham số, đây là vấn đề thực tế.

Continue the module

Lesson 12 of 12