Bạn đã thấy bằng hình: mỗi lớp là một “đoạn ống” có đạo hàm cục bộ. Giờ ta viết lại bằng các công thức — mỗi công thức đi kèm một câu “nó nghĩa là gì bằng tiếng Việt đời thường”.
Quy tắc chuỗi cho hai lớp hàm
Nếu y = f(g(x)), đạo hàm tổng bằng tích đạo hàm cục bộ.
dxdy=dgdy⋅dxdg “Muốn biết y thay đổi bao nhiêu khi x đổi một tí, hãy xem g thay đổi bao nhiêu khi x đổi, rồi y thay đổi bao nhiêu khi g đổi, cuối cùng nhân lại.”
Đạo hàm riêng — một biến mỗi lần
Khi loss L phụ thuộc nhiều weight, ∂L/∂wᵢ chỉ hỏi: “giữ các weight khác yên, đổi riêng wᵢ thì L đổi bao nhiêu?”
∂wi∂L=h→0limhL(…,wi+h,…)−L(…,wi,…) “Trong một phòng có 5 người, câu hỏi ‘nếu chỉ một mình bạn thay đổi, nhóm sẽ thay đổi ra sao?’ là đạo hàm riêng.”
Gradient — gom tất cả đạo hàm riêng thành một vector
Mỗi thành phần ứng với một weight. Vector này chỉ hướng loss tăng nhanh nhất — ta đi NGƯỢC nó.
∇L=[∂w1∂L,∂w2∂L,…,∂wn∂L] “Tưởng tượng bạn đứng trên sườn đồi sương mù. Gradient là ngón tay chỉ hướng dốc lên. Gradient descent là: đi ngược ngón tay đó, từng bước nhỏ.”
Vì sao lại là PHÉP NHÂN, không phải phép cộng?
Trực giác: tưởng tượng một chuỗi tỉ lệ. Nếu giá vé máy bay đổi 1 đồng làm chi phí chuyến đi đổi 2 đồng, và chi phí chuyến đi đổi 1 đồng làm ngân sách gia đình đổi 1.5 đồng — thì giá vé đổi 1 đồng làm ngân sách đổi 2 × 1.5 = 3 đồng. Các tỉ lệ dọc chuỗi nhân nhau, không cộng.
Toán học: khi bạn tiệm cận về giới hạn h → 0 trong định nghĩa đạo hàm, các hạng tử bậc cao bị bỏ qua và chỉ còn lại tích các hệ số tuyến tính — chính là chain rule.
Sao “vanishing gradient” lại đáng sợ đến vậy?
Sigmoid có đạo hàm tối đa ≈ 0.25. Nhân qua 50 lớp: 0.25⁵⁰ ≈ 10⁻³⁰. Gradient ở lớp đầu gần như bằng 0 → các weight ở lớp đó không được cập nhật → mạng không học được đặc trưng sơ cấp. Đây là lý do ReLU (đạo hàm = 1 khi x > 0) và skip connection (tạo đường tắt cho gradient) được phát minh. Xem thêm ở backpropagation.
Công cụ đã đủ. Bước kế tiếp là ráp chúng lại thành một thuật toán huấn luyện hoàn chỉnh — xem bài Gradient — mũi tên chỉ đường xuống dốc để thấy gradient descent hoạt động.