ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← Lý thuyết sâu

AI Researcher

Lan truyền ngược — truy ngược lỗi qua từng lớp

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Mạng đoán sai — lỗi đến từ lớp nào, weight nào cần sửa bao nhiêu? Backprop dùng quy tắc chuỗi để truy ngược lỗi từ đầu ra về từng trọng số, chỉ trong một lần duyệt.

lesson50 minLý thuyết sâuAI Researcher

The same lesson, opened from AI Foundation / Mạng nơ-ron, AI Researcher / Lý thuyết sâu.

Ẩn dụ mở đầu

Mạng đoán sai — vậy lỗi đến từ LỚP NÀO?

Hình dung bạn là giáo viên chấm bài nhóm. Cả nhóm cùng làm một bài tập, kết quả cuối sai 5 điểm so với đáp án. Câu hỏi quan trọng không phải “sai hay đúng” — mà là mỗi thành viên góp bao nhiêu vào cái sai đó, để bạn biết ai cần học lại phần gì.

Mạng nơ-ron cũng vậy. Khi ŷ khác target 0.2 đơn vị, câu hỏi thú vị là: weight nào chịu trách nhiệm bao nhiêu? Câu trả lời — cho cả triệu weight cùng một lúc — chính là backpropagation. Nó “truy ngược lỗi” từ đầu ra về từng lớp bằng quy tắc chuỗi, chỉ tốn một lần duyệt ngược.

Ba bước

1 / 3
  1. 1. Forward

    Dữ liệu chảy từ trái sang phải, mạng đưa ra dự đoán.

Thử đoán

Mạng có 1 triệu weight. Nếu bạn truy ngược NGÂY THƠ — mỗi weight chạy lại cả mạng một lần để đo ảnh hưởng — thì mất bao nhiêu lần duyệt mạng cho một bước cập nhật?

Trong sơ đồ mạng bên dưới, bạn sẽ thấy đúng cái ý tưởng đó chạy: dữ liệu đi tới rồi gradient chảy về. Mỗi cạnh hiển thị chính gradient của weight đó — đúng một con số, đúng một lượt.

Thí nghiệm 1: sơ đồ mạng 2-3-1

Mạng có 2 đầu vào, 3 nơ-ron ẩn (sigmoid), 1 đầu ra (sigmoid). Tổng 9 weight. Mục tiêu y = 0.8. Forward, backward và cập nhật diễn ra trên cùng một sơ đồ.

η nhỏ → học chậm. η vừa → mượt. η lớn → dao động hoặc phân kỳ.

Mạng đã hội tụ sau bước huấn luyện! Loss < 0.005 — ŷ gần sát target. Bạn vừa xem backprop chạy hết một vòng đời huấn luyện.

Thí nghiệm 2: ba kịch bản learning rate

Đặt mạng về trạng thái khởi tạo và chọn η tương ứng, rồi quan sát quá trình huấn luyện.

Đi sâu — sáu bước cụ thể

Giờ mổ xẻ một mạng mini (một đầu vào → một ẩn → một ra) với số nhỏ để bạn có thể theo dõi mọi con số. Con số ở mỗi bước được tính thật bằng công thức bạn vừa thấy.

Sáu bước

1 / 6
  1. 1. Bước 1 — Forward: lấy ŷ

    x → z = w₁·x → h = σ(z) → z_out = w₂·h → ŷ = σ(z_out). Forward không vứt đi các con số này — chúng sẽ dùng lại ở backward.

Sáu bước — chỉ nhân và cộng. Không phép thuật. Mỗi lớp nhớ activation của mình, tính đạo hàm cục bộ (một hai dòng), rồi nhân vào gradient truyền ngược. Làm như thế qua 100 lớp cũng không khó hơn — chỉ dài hơn. Đây là lý do bạn có thể viết backpropagation bằng tay cho mạng nhỏ, và framework làm tự động cho mạng tỉ tham số.

Thử thách

Mạng 2-3-1. Bạn tính được ∂L/∂ŷ = 0.3, ŷ = 0.7, và weight w₂ nối h₁ → ŷ bằng 0.5. Áp dụng chain rule, ∂L/∂h₁ bằng bao nhiêu?
Mạng 50 lớp, toàn sigmoid. Đạo hàm sigmoid cực đại = 0.25 (đạt khi activation = 0.5). Gradient ở LỚP ĐẦU TIÊN (xa output nhất) có độ lớn xấp xỉ bao nhiêu so với gradient ở lớp CUỐI?

Giải thích toán

Bạn đã thấy backprop chạy bằng số trong mạng mini. Giờ ta viết lại bằng các công thức tổng quát — mỗi công thức kèm một câu “nó nghĩa là gì bằng tiếng Việt đời thường”.

Quy tắc chuỗi xuyên mạng

Gradient của loss theo một weight ở lớp đầu = tích các đạo hàm cục bộ suốt đường đi từ weight đó đến output.

∂L∂w=∂L∂y^⋅∂y^∂zout⋅∂zout∂h⋅∂h∂z⋅∂z∂w\frac{\partial L}{\partial w} = \frac{\partial L}{\partial \hat{y}} \cdot \frac{\partial \hat{y}}{\partial z_{\text{out}}} \cdot \frac{\partial z_{\text{out}}}{\partial h} \cdot \frac{\partial h}{\partial z} \cdot \frac{\partial z}{\partial w}

“Để biết một weight ở lớp đầu ảnh hưởng loss bao nhiêu, đi ngược đường đi tín hiệu, nhân đạo hàm cục bộ ở mỗi đoạn.”

Gradient loss theo một weight — dạng gọn

Mỗi weight wᵢⱼ (nối nơ-ron j → nơ-ron i) có công thức: gradient sai số lan về nhân với activation đi vào.

∂L∂wij=δi⋅aj\frac{\partial L}{\partial w_{ij}} = \delta_i \cdot a_j

“Weight giữa A và B được cập nhật theo tích của hai thứ: A phát ra bao nhiêu (a_j), và B chịu trách nhiệm bao nhiêu cho lỗi cuối (δ_i).”

Cập nhật weight — gradient descent

Sau khi backprop xong, áp dụng công thức này cho MỌI weight cùng một lúc.

w←w−η ∂L∂ww \leftarrow w - \eta \, \frac{\partial L}{\partial w}

“Weight cũ trừ đi cỡ bước (η) nhân trách nhiệm (gradient). Làm đồng thời cho mọi weight — đó là một lần gradient descent trên toàn mạng.”

Vì sao backprop NHÂN các đạo hàm mà không CỘNG?

Trực giác: hãy tưởng tượng một chuỗi tỉ lệ. Giá vé đổi 1 đồng làm chi phí chuyến đi đổi 2 đồng. Chi phí chuyến đi đổi 1 đồng làm ngân sách đổi 1.5 đồng. Kết hợp lại: giá vé đổi 1 đồng làm ngân sách đổi 2·1.5 = 3 đồng. Các tỉ lệ dọc chuỗi NHÂN nhau, không cộng.

Toán học: khi h → 0 trong định nghĩa đạo hàm, các hạng tử bậc cao bị bỏ qua, và chỉ còn tích các hệ số tuyến tính — chính là chain rule.

Hệ quả trực tiếp: nếu mỗi lớp có đạo hàm cục bộ < 1, tích qua nhiều lớp tiến về 0 (vanishing). Nếu > 1, tích phát nổ (exploding). Đây là lý do vanishing & exploding gradient là vấn đề kinh điển của mạng sâu.

Framework (PyTorch, JAX) làm gì khác so với khi mình viết tay?

Thư viện ghi lại computational graph khi bạn viết forward pass. Mỗi phép toán cơ bản (nhân ma trận, cộng, sigmoid, ReLU, …) đã có đạo hàm được cài sẵn. Khi bạn gọi loss.backward(), thư viện tự động chạy chain rule theo đúng thứ tự ngược của graph.

Cái tên chuyên môn là reverse-mode automatic differentiation (autodiff ngược). Nó KHÔNG phải tính đạo hàm tượng trưng, cũng KHÔNG phải xấp xỉ số — nó tính đạo hàm CHÍNH XÁC bằng cách ráp các đạo hàm cục bộ đã biết. Chi phí: thêm ~1 lần duyệt nữa so với forward, và bộ nhớ gấp đôi (phải lưu activation của mọi lớp).

Để hiểu sâu về cách tính đạo hàm (chain rule, đạo hàm riêng, gradient), đọc giải tích cho backprop. Để hiểu cách dùng gradient để đi về minimum (learning rate, momentum, Adam), đọc gradient descent. Backprop chỉ tính gradient — việc đi xuống đồi là của gradient descent.

Tóm tắt & liên kết

Năm ý bạn mang về

  • Backprop trả lời câu hỏi: mỗi weight ảnh hưởng loss bao nhiêu. Gradient ∂L/∂w là đơn vị đo của “trách nhiệm”.
  • Cách làm: bắt đầu từ ∂L/∂output (con số duy nhất biết trực tiếp), rồi áp quy tắc chuỗi để lan ngược về từng lớp.
  • Công thức gọn cho một weight: ∂L/∂w_ij = δ_i · a_j — tích của gradient lan về và activation đi vào.
  • Gradient descent cập nhật: w ← w − η · ∂L/∂w. Dấu TRỪ vì gradient chỉ hướng TĂNG của loss.
  • Thách thức thực tế ở mạng sâu: vanishing / exploding gradient — giải pháp: ReLU, Batch Normalization, Residual Connection.

Continue the module

Lesson 1 of 3