ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← Kiến trúc

AI Builder

Hạ gradient ngẫu nhiên

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Biến thể hiệu quả của gradient descent, cập nhật trọng số sau mỗi mẫu hoặc mỗi lô nhỏ.

lesson90 minKiến trúcAI Engineer

Dự đoán

Bạn muốn tìm quán phở ngon nhất thành phố. Cách nào nhanh nhưng vẫn đáng tin?

Ba cách tìm quán phở tương ứng với ba biến thể của gradient descent. Chúng khác nhau ở lượng dữ liệu dùng để ước lượng gradient mỗi bước.

So sánh ba biến thể

Phương phápDữ liệu mỗi bướcĐường điKhi nào dùng
Batch GDToàn bộ N mẫuMượt, thẳng hướngDataset nhỏ (dưới 10 nghìn mẫu)
SGD1 mẫuZigzag, nhiễu nhiềuOnline learning, dữ liệu streaming
Mini-batchB mẫu (32–256)Hơi dao động, nhưng hướng đúngMặc định cho mọi bài toán

Công thức cập nhật giống nhau cho cả ba, chỉ khác cách ước lượng gradient:

θ←θ−α⋅1∣B∣∑i∈B∇Li(θ)\theta \leftarrow \theta - \alpha \cdot \frac{1}{|\mathcal{B}|} \sum_{i \in \mathcal{B}} \nabla L_i(\theta)

Với |B| = N (Batch GD), |B| = 1 (SGD), hoặc |B| = B nhỏ (mini-batch).

Khoảnh khắc Aha

SGD đánh đổi sự ổn định lấy tốc độ, giống xe máy len lỏi qua đường đông: nhanh nhưng lắc lư. Mini-batch GD giống xe ô tô: ổn định hơn, vẫn nhanh, và là lựa chọn mặc định của mọi framework deep learning.

Thử thách

Dataset có 1.000.000 ảnh. Batch GD cần tính gradient trên cả triệu ảnh mỗi bước. Vấn đề lớn nhất là gì?
Bạn tăng batch size từ 32 lên 256 nhưng giữ nguyên learning rate. Điều gì có thể xảy ra?

Vì sao noise tốt cho việc học?

Nhiễu của SGD và mini-batch không chỉ là nhược điểm. Nó hoạt động như một dạng regularization tự nhiên. Nghiên cứu cho thấy mô hình huấn luyện bằng SGD có khả năng tổng quát hoá tốt hơn Batch GD, vì nhiễu giúp thoát khỏi các cực tiểu sắc (sharp minima), nơi mô hình hay overfit.

Mã huấn luyện mini-batch với PyTorch:

sgd_training.py

import torch
from torch.utils.data import DataLoader

# Mini-batch: chia dataset thành các lô nhỏ
loader = DataLoader(dataset, batch_size=64, shuffle=True)

optimizer = torch.optim.SGD(model.parameters(), lr=0.01)

for epoch in range(10):
    for batch_x, batch_y in loader:  # mỗi lô 64 mẫu
        pred = model(batch_x)         # forward pass
        loss = loss_fn(pred, batch_y)  # tính loss trên lô nhỏ
        loss.backward()                # tính gradient
        optimizer.step()               # cập nhật trọng số
        optimizer.zero_grad()          # xóa gradient cũ

Tóm tắt

  • Batch GD tính gradient trên toàn bộ dữ liệu: ổn định nhưng chậm và tốn RAM.
  • SGD cập nhật sau mỗi mẫu: nhanh nhưng dao động mạnh.
  • Mini-batch GD (32–256 mẫu) là mặc định: cân bằng tốc độ, ổn định và vừa GPU.
  • Nhiễu của SGD giúp thoát local minima — một dạng regularization tự nhiên.
  • Quy tắc: tăng batch size gấp đôi thì tăng learning rate gấp đôi (linear scaling).

Continue the module

Lesson 11 of 12