Dự đoán
Ba cách tìm quán phở tương ứng với ba biến thể của gradient descent. Chúng khác nhau ở lượng dữ liệu dùng để ước lượng gradient mỗi bước.
Evaluating routing across providers.
AI Builder
Biến thể hiệu quả của gradient descent, cập nhật trọng số sau mỗi mẫu hoặc mỗi lô nhỏ.
Ba cách tìm quán phở tương ứng với ba biến thể của gradient descent. Chúng khác nhau ở lượng dữ liệu dùng để ước lượng gradient mỗi bước.
| Phương pháp | Dữ liệu mỗi bước | Đường đi | Khi nào dùng |
|---|---|---|---|
| Batch GD | Toàn bộ N mẫu | Mượt, thẳng hướng | Dataset nhỏ (dưới 10 nghìn mẫu) |
| SGD | 1 mẫu | Zigzag, nhiễu nhiều | Online learning, dữ liệu streaming |
| Mini-batch | B mẫu (32–256) | Hơi dao động, nhưng hướng đúng | Mặc định cho mọi bài toán |
Công thức cập nhật giống nhau cho cả ba, chỉ khác cách ước lượng gradient:
Với |B| = N (Batch GD), |B| = 1 (SGD), hoặc |B| = B nhỏ (mini-batch).
SGD đánh đổi sự ổn định lấy tốc độ, giống xe máy len lỏi qua đường đông: nhanh nhưng lắc lư. Mini-batch GD giống xe ô tô: ổn định hơn, vẫn nhanh, và là lựa chọn mặc định của mọi framework deep learning.
Nhiễu của SGD và mini-batch không chỉ là nhược điểm. Nó hoạt động như một dạng regularization tự nhiên. Nghiên cứu cho thấy mô hình huấn luyện bằng SGD có khả năng tổng quát hoá tốt hơn Batch GD, vì nhiễu giúp thoát khỏi các cực tiểu sắc (sharp minima), nơi mô hình hay overfit.
Mã huấn luyện mini-batch với PyTorch:
import torch
from torch.utils.data import DataLoader
# Mini-batch: chia dataset thành các lô nhỏ
loader = DataLoader(dataset, batch_size=64, shuffle=True)
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)
for epoch in range(10):
for batch_x, batch_y in loader: # mỗi lô 64 mẫu
pred = model(batch_x) # forward pass
loss = loss_fn(pred, batch_y) # tính loss trên lô nhỏ
loss.backward() # tính gradient
optimizer.step() # cập nhật trọng số
optimizer.zero_grad() # xóa gradient cũ