Đã thấy bằng hình: bóng lăn xuống đồi, ngón tay chỉ hướng dốc lên, bước ngược hướng đó. Giờ ghi lại bằng hai công thức.
Gradient là vector các đạo hàm riêng
Mỗi thành phần trả lời: “giữ các weight khác yên, đổi riêng wᵢ thì loss đổi bao nhiêu?”
∇L(θ)=[∂θ1∂L,∂θ2∂L,…,∂θn∂L] “Đứng tại một điểm, gradient là mũi tên chỉ ra xa đáy. Luôn đi ngược mũi tên đó.”
Công thức cập nhật — một dòng, cả kỷ nguyên deep learning
η (eta) kiểm soát cỡ bước. Vector θ chứa toàn bộ weight của mô hình.
θ←θ−η∇L(θ) “Ở tọa độ cũ, cộng thêm một mũi tên ngược gradient, bạn ra tọa độ mới — gần đáy hơn.”
Vì sao gradient luôn chỉ LÊN dốc, không phải xuống?
Theo định nghĩa toán học: gradient là vector chứa đạo hàm riêng, và tại mỗi điểm nó là hướng mà loss tăng nhanh nhất. Đó là lý do ta viết trừ gradient (không phải cộng) trong công thức cập nhật — để đi ngược lại, tức xuống dốc.
Nếu ai đó “gradient descent” bằng cách cộng gradient, bạn sẽ thấy loss tăng thay vì giảm. Lỗi này thường gặp khi học lần đầu.
Các biến thể hay gặp: momentum, Adam
Gradient descent cơ bản dễ mắc kẹt ở saddle point và dao động quanh đáy hẹp. Các biến thể:
- Momentum: thêm “quán tính” vào bước — như viên bi lăn. Giúp vượt các “bẫy cạn”.
- Adam / AdamW: điều chỉnh learning rate cho từng weight riêng dựa trên lịch sử gradient.
- SGD (stochastic): tính gradient trên batch nhỏ, ồn ào hơn nhưng nhanh hơn và đôi khi tổng quát hoá tốt hơn.
Dù khác nhau, tất cả vẫn là “đi ngược gradient” — chỉ khác ở cách quyết định cỡ bước.
Khi bạn huấn luyện mạng nơ-ron thực, gradient descent là vòng lặp cốt lõi — còn cách tính gradient qua các lớp là công việc của giải tích cho backprop. Hai mảnh ghép này cùng tạo nên toàn bộ kỷ nguyên deep learning hiện đại.