ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← Nền tảng toán

AI Foundation

Giải tích cho lan truyền ngược (backpropagation)

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Đạo hàm là câu trả lời cho câu hỏi: thay đổi nhỏ này làm loss thay đổi bao nhiêu? Quy tắc chuỗi nối các câu trả lời đó xuyên qua mạng nơ-ron.

lesson53 minNền tảng toánAI Foundation

Ẩn dụ mở đầu

Mạng nơ-ron học như đầu bếp nếm canh

Đầu bếp múc một thìa canh, nếm, rồi quyết định: mặn hơn hay nhạt hơn bao nhiêu? Nếu quá nhạt một chút, thêm nhúm muối. Nếu quá mặn, đổ thêm nước. Việc “bao nhiêu” quan trọng không kém việc “hướng nào” — nêm tay nặng sẽ hỏng nồi canh.

Đó chính là đạo hàm: câu trả lời cho câu hỏi “thay đổi nhỏ này làm kết quả thay đổi bao nhiêu?” Và quy tắc chuỗi chính là cách đầu bếp truy ngược xem mỗi bước nấu (thêm muối → đun sôi → rắc hành) đóng góp bao nhiêu vào vị canh cuối cùng.

Chuỗi nấu canh

1 / 3
  1. 1. Mỗi bước là một hàm

    Thêm muối, đun sôi, rắc hành — mỗi bước là một hàm.

Thử đoán

Bạn biết chain rule là NHÂN các đạo hàm cục bộ trên đường ống. Đường ống có ba đoạn với đạo hàm cục bộ lần lượt là 2, 3, và 4. Đạo hàm tổng (output theo đầu vào) bằng bao nhiêu?

Bài này cho bạn nhìn rõ chain rule bằng hình ảnh đường ống — mỗi lớp là một đoạn ống có đạo hàm cục bộ riêng. Và câu hỏi “tổng cộng” được trả lời bằng cách nhân các đạo hàm trên đường ống đó.

Đường ống hàm hợp

Dữ liệu x chảy qua ba đoạn ống g → h → f. Mỗi đoạn có một đạo hàm cục bộ — thay đổi nhỏ ở đầu vào của đoạn đó làm đầu ra của đoạn đó thay đổi bao nhiêu.

Với L(w) = (w − 3)² + 1, đường tiếp tuyến tại mỗi điểm cho biết độ dốc tại điểm đó — đúng bằng giá trị đạo hàm.

Đi sâu — mạng hai lớp

Giờ ta rút gọn mạng nơ-ron thành ba giai đoạn: vào → lớp ẩn → đầu ra → loss.

Từ đầu vào đến loss

1 / 4
  1. 1. Bước 1 — Lớp vào

    Giá trị đầu vào x chạy qua lớp đầu tiên: a₁ = w₁·x + b₁. Đạo hàm cục bộ của a₁ theo x chính là w₁ — hệ số của lớp này.

∂L∂x=∂L∂a2⋅∂a2∂a1⋅∂a1∂x\frac{\partial L}{\partial x} = \frac{\partial L}{\partial a_2} \cdot \frac{\partial a_2}{\partial a_1} \cdot \frac{\partial a_1}{\partial x}

Chain rule không phải phép thuật — nó chỉ là một cách tổ chức việc cộng hưởng các thay đổi nhỏ. Mỗi lớp chỉ cần biết đạo hàm cục bộ CỦA RIÊNG NÓ. Sau đó, gradient của toàn mạng được ráp lại bằng phép nhân. Đó là lý do mạng tỉ tham số hôm nay tập luyện được trong giờ, chứ không phải hàng tháng.

Thử thách

Cho f(g(x)) với g(x) = 3x và f(g) = g². Áp dụng chain rule, df/dx tại x = 2 bằng bao nhiêu?
Trong một mạng 5 lớp, mọi đạo hàm cục bộ đều bằng 0.3. Gradient của loss theo weight ở lớp đầu tiên (tính qua chain rule) có độ lớn bao nhiêu?

Giải thích toán

Bạn đã thấy bằng hình: mỗi lớp là một “đoạn ống” có đạo hàm cục bộ. Giờ ta viết lại bằng các công thức — mỗi công thức đi kèm một câu “nó nghĩa là gì bằng tiếng Việt đời thường”.

Quy tắc chuỗi cho hai lớp hàm

Nếu y = f(g(x)), đạo hàm tổng bằng tích đạo hàm cục bộ.

dydx=dydg⋅dgdx\frac{dy}{dx} = \frac{dy}{dg} \cdot \frac{dg}{dx}

“Muốn biết y thay đổi bao nhiêu khi x đổi một tí, hãy xem g thay đổi bao nhiêu khi x đổi, rồi y thay đổi bao nhiêu khi g đổi, cuối cùng nhân lại.”

Đạo hàm riêng — một biến mỗi lần

Khi loss L phụ thuộc nhiều weight, ∂L/∂wᵢ chỉ hỏi: “giữ các weight khác yên, đổi riêng wᵢ thì L đổi bao nhiêu?”

∂L∂wi=lim⁡h→0L(…,wi+h,…)−L(…,wi,…)h\frac{\partial L}{\partial w_i} = \lim_{h \to 0} \frac{L(\ldots, w_i + h, \ldots) - L(\ldots, w_i, \ldots)}{h}

“Trong một phòng có 5 người, câu hỏi ‘nếu chỉ một mình bạn thay đổi, nhóm sẽ thay đổi ra sao?’ là đạo hàm riêng.”

Gradient — gom tất cả đạo hàm riêng thành một vector

Mỗi thành phần ứng với một weight. Vector này chỉ hướng loss tăng nhanh nhất — ta đi NGƯỢC nó.

∇L=[∂L∂w1,∂L∂w2,…,∂L∂wn]\nabla L = \left[ \frac{\partial L}{\partial w_1}, \frac{\partial L}{\partial w_2}, \ldots, \frac{\partial L}{\partial w_n} \right]

“Tưởng tượng bạn đứng trên sườn đồi sương mù. Gradient là ngón tay chỉ hướng dốc lên. Gradient descent là: đi ngược ngón tay đó, từng bước nhỏ.”

Vì sao lại là PHÉP NHÂN, không phải phép cộng?

Trực giác: tưởng tượng một chuỗi tỉ lệ. Nếu giá vé máy bay đổi 1 đồng làm chi phí chuyến đi đổi 2 đồng, và chi phí chuyến đi đổi 1 đồng làm ngân sách gia đình đổi 1.5 đồng — thì giá vé đổi 1 đồng làm ngân sách đổi 2 × 1.5 = 3 đồng. Các tỉ lệ dọc chuỗi nhân nhau, không cộng.

Toán học: khi bạn tiệm cận về giới hạn h → 0 trong định nghĩa đạo hàm, các hạng tử bậc cao bị bỏ qua và chỉ còn lại tích các hệ số tuyến tính — chính là chain rule.

Sao “vanishing gradient” lại đáng sợ đến vậy?

Sigmoid có đạo hàm tối đa ≈ 0.25. Nhân qua 50 lớp: 0.25⁵⁰ ≈ 10⁻³⁰. Gradient ở lớp đầu gần như bằng 0 → các weight ở lớp đó không được cập nhật → mạng không học được đặc trưng sơ cấp. Đây là lý do ReLU (đạo hàm = 1 khi x > 0) và skip connection (tạo đường tắt cho gradient) được phát minh. Xem thêm ở backpropagation.

Công cụ đã đủ. Bước kế tiếp là ráp chúng lại thành một thuật toán huấn luyện hoàn chỉnh — xem bài Gradient — mũi tên chỉ đường xuống dốc để thấy gradient descent hoạt động.

Tóm tắt & liên kết

Bốn ý bạn mang về

  • Đạo hàm trả lời: 'thay đổi nhỏ này làm kết quả thay đổi bao nhiêu'. Trong ML, đó là dL/dw.
  • Đạo hàm riêng giữ mọi biến khác yên, chỉ lắc một biến. Gradient là vector gom mọi đạo hàm riêng lại.
  • Quy tắc chuỗi nhân các đạo hàm cục bộ xuyên qua mạng — là nền tảng của backpropagation.
  • Mỗi lớp chỉ cần biết đạo hàm cục bộ của mình. Backprop ráp các mảnh lại bằng phép nhân, không cần thần thánh.

Continue the path

Lesson 25 of 106