ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← Mạng nơ-ron

AI Foundation

Thuật toán Gradient Descent — xoay trọng số (weight) để giảm mất mát (loss)

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Bạn đã hiểu gradient là mũi tên chỉ đường. Giờ áp vào bài toán huấn luyện thật: xoay các trọng số (weight) theo từng bước để mất mát (loss) giảm dần. So sánh ba cách bước: Vanilla, Momentum, Adam.

lesson50 minMạng nơ-ronAI Foundation

Bắt cầu từ intuition

Bạn đã hiểu gradient là gì. Giờ áp vào bài toán huấn luyện thật.

Ở bài gradient — mũi tên chỉ đường xuống dốc, bạn đã thấy một viên bi lăn trên đồi sương mù. Bi là vị trí, đồi là loss, ngón tay chỉ hướng là gradient.

Giờ đến phần thật sự áp dụng: trong huấn luyện, “tọa độ” không phải (x, y) mà là các weight của mạng nơ-ron. Mỗi bước gradient descent sẽ xoay các weight này để loss giảm.

Bài này tập trung vào THUẬT TOÁN — cách máy thực sự đi từng bước. Bạn sẽ gặp ba biến thể bước: Vanilla, Momentum, Adam. Cùng một địa hình, ba tính cách đi khác nhau.

  • Vector weight θ = (w₁, w₂, ..., wₙ) của mạng.
  • Gradient ∇L — mỗi thành phần tương ứng một weight.
  • θ ← θ − η·∇L — cập nhật tất cả weight cùng lúc.

Thử đoán

Mặt loss có dạng thung lũng hẹp (một trục dốc, một trục thoải). Bạn bật Vanilla GD với learning rate vừa phải. Đường đi của weight sẽ như thế nào?

Khám phá tương tác

Mặt loss L(w₁, w₂) = 0.5·(w₁ − 1)² + 2·(w₂ + 0.5)² — đáy tại (1, −0.5), thung lũng hẹp theo trục w₂. Đổi điểm xuất phát, chỉnh learning rate, rồi chạy để xem bi lăn. Nền xanh = loss thấp, nền đỏ = loss cao.

So sánh ba đường đi

Cùng điểm xuất phát, cùng learning rate, 60 bước — ba optimizer vẽ ba đường đi rất khác nhau trên mặt loss.

OptimizerDùng khi nào
Vanilla GDDùng để HIỂU nguyên lý. Ít khi dùng cho mạng thật vì zigzag và chậm trên thung lũng hẹp. Gặp trong bài giảng và dataset siêu đơn giản.
Momentum (SGD + Momentum)Lựa chọn ưa thích cho mạng thị giác lớn (ResNet, EfficientNet). Bước mượt, tổng quát hoá tốt nếu tinh chỉnh η và β đúng cách.
Adam / AdamWMặc định cho Transformer, LLM, diffusion. Chạy tốt ngay cả khi chưa tinh chỉnh kỹ — siêu tham số mặc định (η = 1e-3, β₁ = 0.9, β₂ = 0.999) thường đủ dùng.

Đi sâu — một bước

Giờ mổ xẻ CHÍNH XÁC một bước Vanilla GD ở điểm cụ thể: (w₁, w₂) = (−1.2, 1.5), η = 0.2. Ba pha của một bước:

Ba pha

1 / 3
  1. 1. 1. Tính loss tại weight hiện tại

    Với cặp weight hiện tại, loss cho biết ta đang sai bao nhiêu. L(w₁, w₂) = 0.5·(w₁ − 1)² + 2·(w₂ + 0.5)². “Càng cao = càng sai. Ta muốn đẩy con số này xuống càng gần 0 càng tốt.”

Gradient descent là vòng lặp ba dòng: tính loss, tính gradient, cập nhật weight. Toàn bộ quá trình huấn luyện — từ MNIST đến GPT-4 — là vòng lặp này lặp hàng trăm triệu lần, chỉ khác cỡ mạng và cách chọn bước.

Thử thách

Một quyết định kỹ thuật quan trọng: mỗi bước gradient descent, ta dùng bao nhiêu dữ liệu để tính gradient? Ba lựa chọn, ba đánh đổi.

KiểuDữ liệu mỗi bướcƯu điểmNhược điểm
Batch GDToàn bộ tập dữ liệu (ví dụ 60 000 ảnh MNIST)Gradient chính xác, đường đi mượtKhông chạy nổi trên dataset lớn (ImageNet, GPT)
Mini-batch GDMột lô nhỏ (thường 32–256 mẫu)Cân bằng: gradient đủ chính xác, đủ nhanh, tận dụng GPUCó nhiễu nhẹ, cần tinh chỉnh batch size
SGD thuầnĐúng 1 mẫu ngẫu nhiên mỗi bướcCập nhật rất nhanh, có thể thoát saddle pointGradient rất nhiễu, hội tụ không ổn định
Bạn huấn luyện ResNet trên ImageNet (1,2 triệu ảnh). Dùng BATCH GD (toàn bộ dataset mỗi bước) — điều gì xảy ra?
Khi nào bạn NÊN ưu tiên SGD thuần (batch size = 1) thay vì Mini-batch?

Giải thích toán

Ba công thức đóng gói toàn bộ thuật toán. Mỗi công thức đi kèm một câu giải thích bằng tiếng Việt đời thường.

Vanilla Gradient Descent — công thức gốc

θ là vector toàn bộ weight. η là learning rate. ∇L(θ) là gradient của loss theo θ.

θt+1=θt−η ∇L(θt)\theta_{t+1} = \theta_t - \eta \, \nabla L(\theta_t)

“Lấy weight cũ, trừ đi một bước theo hướng gradient, ra được weight mới sát đáy hơn. Đúng một dòng — nhưng lặp nó hàng triệu lần thì huấn luyện được GPT.”

Mini-batch SGD — dùng một lô nhỏ dữ liệu thay vì cả tập

B là tập 32–256 mẫu random từ dataset. Gradient được tính trung bình trên B, không phải toàn bộ N mẫu.

θt+1=θt−η⋅1∣B∣∑i∈B∇Li(θt)\theta_{t+1} = \theta_t - \eta \cdot \frac{1}{|B|}\sum_{i \in B} \nabla L_i(\theta_t)

“Thay vì đọc toàn bộ sách trước khi bước, ta đọc nhanh vài trang ngẫu nhiên — đủ để biết nên đi hướng nào. Gradient có ồn hơn một chút, nhưng nhanh hơn rất nhiều.”

Momentum — thêm “quán tính” vào bước

v là velocity — tổng luỹ kế có chiết khấu của gradient cũ cộng gradient mới. β thường là 0.9, giữ lại 90% đà cũ mỗi bước (bước hiệu quả ổn định ≈ η / (1 − β)).

vt+1=βvt+∇L(θt),θt+1=θt−η vt+1v_{t+1} = \beta v_t + \nabla L(\theta_t), \quad \theta_{t+1} = \theta_t - \eta \, v_{t+1}

“Vanilla GD = người đi bộ, mỗi bước chỉ nhìn ngay dưới chân. Momentum = quả bóng có đà — khi gradient chỉ cùng hướng nhiều bước liền, bóng tăng tốc. Khi gradient đổi chiều nhẹ, đà cũ lấn át → triệt tiêu zigzag.”

Vì sao phải trừ η·∇L mà không phải cộng?

Gradient theo định nghĩa toán học chỉ hướng loss tăng nhanh nhất. Để loss giảm nhanh nhất, ta phải đi NGƯỢC lại — tức TRỪ gradient. Nhầm dấu là lỗi phổ biến khi viết trainer thủ công: nếu bạn quên dấu trừ, loss sẽ tăng thay vì giảm, và sau vài bước mạng chập hoàn toàn.

Thư viện như PyTorch đã ẩn chi tiết này — khi bạn gọi optimizer.step(), bước trừ gradient đã được lo sẵn. Nhưng hiểu rõ dấu trừ này là thứ phân biệt “dùng thư viện” với “hiểu cái mình đang làm”.

Learning rate — vì sao nó là siêu tham số khó nhất

η (eta) kiểm soát cỡ bước. Không có công thức “chọn η đúng” — phụ thuộc hoàn toàn vào bài toán:

  • Quá nhỏ (η < 10⁻⁵ cho mạng lớn): huấn luyện đóng băng, loss giảm không đáng kể sau nhiều epoch.
  • Quá lớn (η > 0.1 cho Adam): gradient phát nổ, loss = NaN sau vài bước.
  • Vừa phải: một dải khoảng 10 lần (ví dụ 1e-4 đến 1e-3 cho Adam trên Transformer).

Thực tế: người ta dùng learning rate scheduler — ban đầu η lớn để tiến nhanh, cuối quá trình η nhỏ để tinh chỉnh. Ba lịch phổ biến: step decay, cosine annealing, warmup+cosine (GPT-3 dùng lịch thứ ba). Đọc chi tiết hơn ở bài learning rate.

Tóm tắt & liên kết

Ba ý bạn mang về

  • Gradient descent là vòng lặp ba dòng: tính loss → tính gradient → cập nhật weight theo θ ← θ − η·∇L. Toàn bộ huấn luyện là lặp vòng này hàng triệu lần.
  • Vanilla GD hay zigzag trên thung lũng hẹp. Momentum thêm quán tính → đi mượt hơn. Adam tự thích nghi learning rate cho từng weight → mặc định trong deep learning hiện đại.
  • Mỗi bước ta dùng một MINI-BATCH (32–256 mẫu) thay vì toàn bộ dataset — đó là cân bằng vàng giữa chính xác và tốc độ, tận dụng song song hoá GPU.

Continue the path

Lesson 82 of 106