Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.
Mạng đoán sai — lỗi đến từ lớp nào, weight nào cần sửa bao nhiêu? Backprop dùng quy tắc chuỗi để truy ngược lỗi từ đầu ra về từng trọng số, chỉ trong một lần duyệt.
Hình dung bạn là giáo viên chấm bài nhóm. Cả nhóm cùng làm một bài tập, kết quả cuối sai 5 điểm so với đáp án. Câu hỏi quan trọng không phải “sai hay đúng” — mà là mỗi thành viên góp bao nhiêu vào cái sai đó, để bạn biết ai cần học lại phần gì.
Mạng nơ-ron cũng vậy. Khi ŷ khác target 0.2 đơn vị, câu hỏi thú vị là: weight nào chịu trách nhiệm bao nhiêu? Câu trả lời — cho cả triệu weight cùng một lúc — chính là backpropagation. Nó “truy ngược lỗi” từ đầu ra về từng lớp bằng quy tắc chuỗi, chỉ tốn một lần duyệt ngược.
Ba bước
1 / 3
1. Forward
Dữ liệu chảy từ trái sang phải, mạng đưa ra dự đoán.
Thử đoán
Trong sơ đồ mạng bên dưới, bạn sẽ thấy đúng cái ý tưởng đó chạy: dữ liệu đi tới rồi gradient chảy về. Mỗi cạnh hiển thị chính gradient của weight đó — đúng một con số, đúng một lượt.
Thí nghiệm 1: sơ đồ mạng 2-3-1
Mạng có 2 đầu vào, 3 nơ-ron ẩn (sigmoid), 1 đầu ra (sigmoid). Tổng 9 weight. Mục tiêu y = 0.8. Forward, backward và cập nhật diễn ra trên cùng một sơ đồ.
η nhỏ → học chậm. η vừa → mượt. η lớn → dao động hoặc phân kỳ.
Mạng đã hội tụ sau bước huấn luyện! Loss < 0.005 — ŷ gần sát target. Bạn vừa xem backprop chạy hết một vòng đời huấn luyện.
Thí nghiệm 2: ba kịch bản learning rate
Đặt mạng về trạng thái khởi tạo và chọn η tương ứng, rồi quan sát quá trình huấn luyện.
Đi sâu — sáu bước cụ thể
Giờ mổ xẻ một mạng mini (một đầu vào → một ẩn → một ra) với số nhỏ để bạn có thể theo dõi mọi con số. Con số ở mỗi bước được tính thật bằng công thức bạn vừa thấy.
Sáu bước
1 / 6
1. Bước 1 — Forward: lấy ŷ
x → z = w₁·x → h = σ(z) → z_out = w₂·h → ŷ = σ(z_out). Forward không vứt đi các con số này — chúng sẽ dùng lại ở backward.
Sáu bước — chỉ nhân và cộng. Không phép thuật. Mỗi lớp nhớ activation của mình, tính đạo hàm cục bộ (một hai dòng), rồi nhân vào gradient truyền ngược. Làm như thế qua 100 lớp cũng không khó hơn — chỉ dài hơn. Đây là lý do bạn có thể viết backpropagation bằng tay cho mạng nhỏ, và framework làm tự động cho mạng tỉ tham số.
Thử thách
Giải thích toán
Bạn đã thấy backprop chạy bằng số trong mạng mini. Giờ ta viết lại bằng các công thức tổng quát — mỗi công thức kèm một câu “nó nghĩa là gì bằng tiếng Việt đời thường”.
Quy tắc chuỗi xuyên mạng
Gradient của loss theo một weight ở lớp đầu = tích các đạo hàm cục bộ suốt đường đi từ weight đó đến output.
∂w∂L=∂y^∂L⋅∂zout∂y^⋅∂h∂zout⋅∂z∂h⋅∂w∂z
“Để biết một weight ở lớp đầu ảnh hưởng loss bao nhiêu, đi ngược đường đi tín hiệu, nhân đạo hàm cục bộ ở mỗi đoạn.”
Gradient loss theo một weight — dạng gọn
Mỗi weight wᵢⱼ (nối nơ-ron j → nơ-ron i) có công thức: gradient sai số lan về nhân với activation đi vào.
∂wij∂L=δi⋅aj
“Weight giữa A và B được cập nhật theo tích của hai thứ: A phát ra bao nhiêu (a_j), và B chịu trách nhiệm bao nhiêu cho lỗi cuối (δ_i).”
Cập nhật weight — gradient descent
Sau khi backprop xong, áp dụng công thức này cho MỌI weight cùng một lúc.
w←w−η∂w∂L
“Weight cũ trừ đi cỡ bước (η) nhân trách nhiệm (gradient). Làm đồng thời cho mọi weight — đó là một lần gradient descent trên toàn mạng.”
Vì sao backprop NHÂN các đạo hàm mà không CỘNG?
Trực giác: hãy tưởng tượng một chuỗi tỉ lệ. Giá vé đổi 1 đồng làm chi phí chuyến đi đổi 2 đồng. Chi phí chuyến đi đổi 1 đồng làm ngân sách đổi 1.5 đồng. Kết hợp lại: giá vé đổi 1 đồng làm ngân sách đổi 2·1.5 = 3 đồng. Các tỉ lệ dọc chuỗi NHÂN nhau, không cộng.
Toán học: khi h → 0 trong định nghĩa đạo hàm, các hạng tử bậc cao bị bỏ qua, và chỉ còn tích các hệ số tuyến tính — chính là chain rule.
Hệ quả trực tiếp: nếu mỗi lớp có đạo hàm cục bộ < 1, tích qua nhiều lớp tiến về 0 (vanishing). Nếu > 1, tích phát nổ (exploding). Đây là lý do vanishing & exploding gradient là vấn đề kinh điển của mạng sâu.
Framework (PyTorch, JAX) làm gì khác so với khi mình viết tay?
Thư viện ghi lại computational graph khi bạn viết forward pass. Mỗi phép toán cơ bản (nhân ma trận, cộng, sigmoid, ReLU, …) đã có đạo hàm được cài sẵn. Khi bạn gọi loss.backward(), thư viện tự động chạy chain rule theo đúng thứ tự ngược của graph.
Cái tên chuyên môn là reverse-mode automatic differentiation (autodiff ngược). Nó KHÔNG phải tính đạo hàm tượng trưng, cũng KHÔNG phải xấp xỉ số — nó tính đạo hàm CHÍNH XÁC bằng cách ráp các đạo hàm cục bộ đã biết. Chi phí: thêm ~1 lần duyệt nữa so với forward, và bộ nhớ gấp đôi (phải lưu activation của mọi lớp).
Để hiểu sâu về cách tính đạo hàm (chain rule, đạo hàm riêng, gradient), đọc giải tích cho backprop. Để hiểu cách dùng gradient để đi về minimum (learning rate, momentum, Adam), đọc gradient descent. Backprop chỉ tính gradient — việc đi xuống đồi là của gradient descent.
Tóm tắt & liên kết
Năm ý bạn mang về
Backprop trả lời câu hỏi: mỗi weight ảnh hưởng loss bao nhiêu. Gradient ∂L/∂w là đơn vị đo của “trách nhiệm”.
Cách làm: bắt đầu từ ∂L/∂output (con số duy nhất biết trực tiếp), rồi áp quy tắc chuỗi để lan ngược về từng lớp.
Công thức gọn cho một weight: ∂L/∂w_ij = δ_i · a_j — tích của gradient lan về và activation đi vào.
Gradient descent cập nhật: w ← w − η · ∂L/∂w. Dấu TRỪ vì gradient chỉ hướng TĂNG của loss.
Thách thức thực tế ở mạng sâu: vanishing / exploding gradient — giải pháp: ReLU, Batch Normalization, Residual Connection.