ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← Nền tảng toán

AI Foundation

Gradient — mũi tên chỉ đường xuống dốc

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Trên một đồi sương mù bạn chỉ nhìn được mặt đất dưới chân. Gradient là ngón tay chỉ hướng dốc nhất — đi NGƯỢC lại để xuống núi.

lesson53 minNền tảng toánAI Foundation

Ẩn dụ mở đầu

Bạn đang trên núi sương mù

Bạn bị lạc trên đồi, sương phủ kín, chỉ thấy được vài mét mặt đất dưới chân. Bạn cần xuống đến thung lũng để trú ẩn. Làm sao đi được khi không thấy gì xa hơn chân mình?

Câu trả lời đơn giản: đi về phía dốc xuống mạnh nhất. Nhìn đất dưới chân, bên nào thấp hơn rõ rệt — bước về đó. Lặp lại. Cuối cùng bạn sẽ tới đáy — có thể không phải đáy sâu nhất, nhưng chắc chắn là một đáy.

Đó chính là gradient descent. Máy học cũng đi đúng như vậy — chỉ khác, đồi của nó là mặt loss, và tọa độ là weights.

Ba khái niệm

1 / 3
  1. 1. Mặt loss

    Mặt loss L(x, y) — mỗi tọa độ là một bộ weight.

Thử đoán

Bạn đã biết phải đi ngược hướng dốc xuống. Giờ chọn độ dài MỖI BƯỚC. Bạn đặt bước rất to (η lớn) để xuống thật nhanh. Chuyện gì dễ xảy ra nhất?

Ba chế độ learning rate

Thả một viên bi lên mặt loss 2D và xem nó lăn với các learning rate khác nhau. Các đường cong là các “đường đồng mức” loss — như đường đồng mức trên bản đồ địa hình. Xanh = thấp (gần đáy), đỏ = cao.

Learning rate ηHiện tượng
0.01 (stall)Learning rate rất nhỏ — bóng nhích không thấy
0.25 (êm)Learning rate vừa phải — bóng lăn êm
0.7 (nảy)Learning rate hơi to — bóng nảy quanh đáy
1.5 (nổ)Learning rate quá to — bóng phát nổ

Một vòng gradient descent

Giờ mổ xẻ chi tiết MỘT bước gradient descent.

Bốn giai đoạn

1 / 4
  1. 1. 1. Đọc tọa độ hiện tại

    Bạn đang ở điểm (x, y) trên đồi. Không nhìn thấy đỉnh vì sương mù — chỉ nhìn được đất dưới chân.

Gradient descent không phải phép thuật — nó chỉ là nguyên tắc cũ nhất của người leo núi: khi sương mù, hãy đi về phía dốc xuống mạnh nhất. Điều duy nhất chúng ta thêm vào là hằng số η (learning rate) — để kiểm soát cỡ bước sao cho không lao đầu xuống vực.

Thử thách

Bạn đặt bóng ở đỉnh đồi cao (ví dụ tọa độ (6, 3)), rồi bật learning rate to (η = 1.3). Điều gì xảy ra?
Bóng của bạn đang lăn ngoan về đáy. Sau vài bước, gradient tại vị trí bóng giảm dần. Điều này có nghĩa là gì?

Giải thích toán

Đã thấy bằng hình: bóng lăn xuống đồi, ngón tay chỉ hướng dốc lên, bước ngược hướng đó. Giờ ghi lại bằng hai công thức.

Gradient là vector các đạo hàm riêng

Mỗi thành phần trả lời: “giữ các weight khác yên, đổi riêng wᵢ thì loss đổi bao nhiêu?”

∇L(θ)=[∂L∂θ1,∂L∂θ2,…,∂L∂θn]\nabla L(\theta) = \left[ \frac{\partial L}{\partial \theta_1}, \frac{\partial L}{\partial \theta_2}, \ldots, \frac{\partial L}{\partial \theta_n} \right]

“Đứng tại một điểm, gradient là mũi tên chỉ ra xa đáy. Luôn đi ngược mũi tên đó.”

Công thức cập nhật — một dòng, cả kỷ nguyên deep learning

η (eta) kiểm soát cỡ bước. Vector θ chứa toàn bộ weight của mô hình.

θ←θ−η ∇L(θ)\theta \leftarrow \theta - \eta \, \nabla L(\theta)

“Ở tọa độ cũ, cộng thêm một mũi tên ngược gradient, bạn ra tọa độ mới — gần đáy hơn.”

Vì sao gradient luôn chỉ LÊN dốc, không phải xuống?

Theo định nghĩa toán học: gradient là vector chứa đạo hàm riêng, và tại mỗi điểm nó là hướng mà loss tăng nhanh nhất. Đó là lý do ta viết trừ gradient (không phải cộng) trong công thức cập nhật — để đi ngược lại, tức xuống dốc.

Nếu ai đó “gradient descent” bằng cách cộng gradient, bạn sẽ thấy loss tăng thay vì giảm. Lỗi này thường gặp khi học lần đầu.

Các biến thể hay gặp: momentum, Adam

Gradient descent cơ bản dễ mắc kẹt ở saddle point và dao động quanh đáy hẹp. Các biến thể:

  • Momentum: thêm “quán tính” vào bước — như viên bi lăn. Giúp vượt các “bẫy cạn”.
  • Adam / AdamW: điều chỉnh learning rate cho từng weight riêng dựa trên lịch sử gradient.
  • SGD (stochastic): tính gradient trên batch nhỏ, ồn ào hơn nhưng nhanh hơn và đôi khi tổng quát hoá tốt hơn.

Dù khác nhau, tất cả vẫn là “đi ngược gradient” — chỉ khác ở cách quyết định cỡ bước.

Khi bạn huấn luyện mạng nơ-ron thực, gradient descent là vòng lặp cốt lõi — còn cách tính gradient qua các lớp là công việc của giải tích cho backprop. Hai mảnh ghép này cùng tạo nên toàn bộ kỷ nguyên deep learning hiện đại.

Tóm tắt

Ba ý bạn mang về

  • Gradient là vector chỉ hướng loss TĂNG nhanh nhất. Đi NGƯỢC gradient để loss giảm nhanh nhất — đó là gradient descent.
  • Learning rate η kiểm soát cỡ bước: quá to → phân kỳ, quá nhỏ → stall, vừa đủ → hội tụ. Tinh chỉnh η là nghệ thuật quan trọng bậc nhất trong ML.
  • Trên mặt loss thực tế (hàng tỉ chiều), gradient descent không đảm bảo tới minimum toàn cục — nhưng trong thực nghiệm, local minimum đa phần cho chất lượng tương đương.

Continue the path

Lesson 27 of 106