Thuật toán Gradient Descent — xoay trọng số (weight) để giảm mất mát (loss)
Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.
Bạn đã hiểu gradient là mũi tên chỉ đường. Giờ áp vào bài toán huấn luyện thật: xoay các trọng số (weight) theo từng bước để mất mát (loss) giảm dần. So sánh ba cách bước: Vanilla, Momentum, Adam.
lesson50 minMạng nơ-ronAI Foundation
Bắt cầu từ intuition
Bạn đã hiểu gradient là gì. Giờ áp vào bài toán huấn luyện thật.
Ở bài gradient — mũi tên chỉ đường xuống dốc, bạn đã thấy một viên bi lăn trên đồi sương mù. Bi là vị trí, đồi là loss, ngón tay chỉ hướng là gradient.
Giờ đến phần thật sự áp dụng: trong huấn luyện, “tọa độ” không phải (x, y) mà là các weight của mạng nơ-ron. Mỗi bước gradient descent sẽ xoay các weight này để loss giảm.
Bài này tập trung vào THUẬT TOÁN — cách máy thực sự đi từng bước. Bạn sẽ gặp ba biến thể bước: Vanilla, Momentum, Adam. Cùng một địa hình, ba tính cách đi khác nhau.
Vector weight θ = (w₁, w₂, ..., wₙ) của mạng.
Gradient ∇L — mỗi thành phần tương ứng một weight.
θ ← θ − η·∇L — cập nhật tất cả weight cùng lúc.
Thử đoán
Khám phá tương tác
Mặt loss L(w₁, w₂) = 0.5·(w₁ − 1)² + 2·(w₂ + 0.5)² — đáy tại (1, −0.5), thung lũng hẹp theo trục w₂. Đổi điểm xuất phát, chỉnh learning rate, rồi chạy để xem bi lăn. Nền xanh = loss thấp, nền đỏ = loss cao.
So sánh ba đường đi
Cùng điểm xuất phát, cùng learning rate, 60 bước — ba optimizer vẽ ba đường đi rất khác nhau trên mặt loss.
Optimizer
Dùng khi nào
Vanilla GD
Dùng để HIỂU nguyên lý. Ít khi dùng cho mạng thật vì zigzag và chậm trên thung lũng hẹp. Gặp trong bài giảng và dataset siêu đơn giản.
Momentum (SGD + Momentum)
Lựa chọn ưa thích cho mạng thị giác lớn (ResNet, EfficientNet). Bước mượt, tổng quát hoá tốt nếu tinh chỉnh η và β đúng cách.
Adam / AdamW
Mặc định cho Transformer, LLM, diffusion. Chạy tốt ngay cả khi chưa tinh chỉnh kỹ — siêu tham số mặc định (η = 1e-3, β₁ = 0.9, β₂ = 0.999) thường đủ dùng.
Đi sâu — một bước
Giờ mổ xẻ CHÍNH XÁC một bước Vanilla GD ở điểm cụ thể: (w₁, w₂) = (−1.2, 1.5), η = 0.2. Ba pha của một bước:
Ba pha
1 / 3
1. 1. Tính loss tại weight hiện tại
Với cặp weight hiện tại, loss cho biết ta đang sai bao nhiêu. L(w₁, w₂) = 0.5·(w₁ − 1)² + 2·(w₂ + 0.5)². “Càng cao = càng sai. Ta muốn đẩy con số này xuống càng gần 0 càng tốt.”
Gradient descent là vòng lặp ba dòng: tính loss, tính gradient, cập nhật weight. Toàn bộ quá trình huấn luyện — từ MNIST đến GPT-4 — là vòng lặp này lặp hàng trăm triệu lần, chỉ khác cỡ mạng và cách chọn bước.
Thử thách
Một quyết định kỹ thuật quan trọng: mỗi bước gradient descent, ta dùng bao nhiêu dữ liệu để tính gradient? Ba lựa chọn, ba đánh đổi.
Kiểu
Dữ liệu mỗi bước
Ưu điểm
Nhược điểm
Batch GD
Toàn bộ tập dữ liệu (ví dụ 60 000 ảnh MNIST)
Gradient chính xác, đường đi mượt
Không chạy nổi trên dataset lớn (ImageNet, GPT)
Mini-batch GD
Một lô nhỏ (thường 32–256 mẫu)
Cân bằng: gradient đủ chính xác, đủ nhanh, tận dụng GPU
Có nhiễu nhẹ, cần tinh chỉnh batch size
SGD thuần
Đúng 1 mẫu ngẫu nhiên mỗi bước
Cập nhật rất nhanh, có thể thoát saddle point
Gradient rất nhiễu, hội tụ không ổn định
Giải thích toán
Ba công thức đóng gói toàn bộ thuật toán. Mỗi công thức đi kèm một câu giải thích bằng tiếng Việt đời thường.
Vanilla Gradient Descent — công thức gốc
θ là vector toàn bộ weight. η là learning rate. ∇L(θ) là gradient của loss theo θ.
θt+1=θt−η∇L(θt)
“Lấy weight cũ, trừ đi một bước theo hướng gradient, ra được weight mới sát đáy hơn. Đúng một dòng — nhưng lặp nó hàng triệu lần thì huấn luyện được GPT.”
Mini-batch SGD — dùng một lô nhỏ dữ liệu thay vì cả tập
B là tập 32–256 mẫu random từ dataset. Gradient được tính trung bình trên B, không phải toàn bộ N mẫu.
θt+1=θt−η⋅∣B∣1i∈B∑∇Li(θt)
“Thay vì đọc toàn bộ sách trước khi bước, ta đọc nhanh vài trang ngẫu nhiên — đủ để biết nên đi hướng nào. Gradient có ồn hơn một chút, nhưng nhanh hơn rất nhiều.”
Momentum — thêm “quán tính” vào bước
v là velocity — tổng luỹ kế có chiết khấu của gradient cũ cộng gradient mới. β thường là 0.9, giữ lại 90% đà cũ mỗi bước (bước hiệu quả ổn định ≈ η / (1 − β)).
vt+1=βvt+∇L(θt),θt+1=θt−ηvt+1
“Vanilla GD = người đi bộ, mỗi bước chỉ nhìn ngay dưới chân. Momentum = quả bóng có đà — khi gradient chỉ cùng hướng nhiều bước liền, bóng tăng tốc. Khi gradient đổi chiều nhẹ, đà cũ lấn át → triệt tiêu zigzag.”
Vì sao phải trừ η·∇L mà không phải cộng?
Gradient theo định nghĩa toán học chỉ hướng loss tăng nhanh nhất. Để loss giảm nhanh nhất, ta phải đi NGƯỢC lại — tức TRỪ gradient. Nhầm dấu là lỗi phổ biến khi viết trainer thủ công: nếu bạn quên dấu trừ, loss sẽ tăng thay vì giảm, và sau vài bước mạng chập hoàn toàn.
Thư viện như PyTorch đã ẩn chi tiết này — khi bạn gọi optimizer.step(), bước trừ gradient đã được lo sẵn. Nhưng hiểu rõ dấu trừ này là thứ phân biệt “dùng thư viện” với “hiểu cái mình đang làm”.
Learning rate — vì sao nó là siêu tham số khó nhất
η (eta) kiểm soát cỡ bước. Không có công thức “chọn η đúng” — phụ thuộc hoàn toàn vào bài toán:
Quá nhỏ (η < 10⁻⁵ cho mạng lớn): huấn luyện đóng băng, loss giảm không đáng kể sau nhiều epoch.
Quá lớn (η > 0.1 cho Adam): gradient phát nổ, loss = NaN sau vài bước.
Vừa phải: một dải khoảng 10 lần (ví dụ 1e-4 đến 1e-3 cho Adam trên Transformer).
Thực tế: người ta dùng learning rate scheduler — ban đầu η lớn để tiến nhanh, cuối quá trình η nhỏ để tinh chỉnh. Ba lịch phổ biến: step decay, cosine annealing, warmup+cosine (GPT-3 dùng lịch thứ ba). Đọc chi tiết hơn ở bài learning rate.
Tóm tắt & liên kết
Ba ý bạn mang về
Gradient descent là vòng lặp ba dòng: tính loss → tính gradient → cập nhật weight theo θ ← θ − η·∇L. Toàn bộ huấn luyện là lặp vòng này hàng triệu lần.
Vanilla GD hay zigzag trên thung lũng hẹp. Momentum thêm quán tính → đi mượt hơn. Adam tự thích nghi learning rate cho từng weight → mặc định trong deep learning hiện đại.
Mỗi bước ta dùng một MINI-BATCH (32–256 mẫu) thay vì toàn bộ dataset — đó là cân bằng vàng giữa chính xác và tốc độ, tận dụng song song hoá GPU.