ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← Mạng nơ-ron

AI Foundation

Lan truyền ngược — khi Google Translate học từ lỗi

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Mỗi câu dịch sai là một lần Google Translate tự chỉnh trọng số. Xem một cặp câu Anh–Việt đi qua forward, loss, backward và update.

lesson50 minMạng nơ-ronAI Foundation

Giới thiệu

Bạn gõ “Xin chào” vào Google Translate và ngay lập tức nhận được “Hello”. Đằng sau khoảnh khắc đó là hàng triệu cặp câu Anh-Việt mà mô hình đã nhìn qua trong lúc huấn luyện. Mỗi cặp là một cơ hội mắc lỗi — và mỗi lỗi là một lần thuật toán lan truyền ngược đi đánh dấu lại hàng triệu trọng số bên trong mạng nơ-ron.

Mạng nơ-ron 16 lớp (8 encoder + 8 decoder) lần đầu tiên có thể dịch cả câu trọn vẹn thay vì dịch từng cụm rời rạc. Toàn bộ mạng đó được huấn luyện bằng một thuật toán duy nhất: lan truyền ngược.

Trước năm 2016, Google Translate ghép từng cụm từ lại với nhau theo phương pháp thống kê. Bản dịch thường đứt gãy giữa câu, mất ngữ cảnh, và đặc biệt kém với cặp ngôn ngữ xa nhau như Anh-Việt. Giải pháp hiển nhiên: một mạng nơ-ron 16 lớp đọc toàn bộ câu nguồn, rồi sinh ra câu đích trọn vẹn.

Nhưng mạng đó có hàng trăm triệu trọng số. Không ai chỉnh tay được. Cần một thuật toán tự động: nhìn vào lỗi dịch ở đầu ra, rồi quay ngược về từng trọng số và nói chính xác nó phải nhích bao nhiêu theo hướng nào. Thuật toán đó chính là lan truyền ngược.

Thông sốGiá trị
Kiến trúc8 lớp encoder LSTM + 8 lớp decoder LSTM, mỗi lớp 1.024 nút
Trọng sốHàng trăm triệu
Dữ liệu huấn luyện36 triệu cặp câu Anh-Việt

Một vòng huấn luyện với một cặp câu

1 / 5
  1. 1. Chọn một cặp câu từ dữ liệu

    Hệ thống bốc ngẫu nhiên một cặp (câu nguồn, câu đích) từ kho 36 triệu cặp song ngữ. Câu nguồn đi vào encoder, câu đích giữ lại làm “đáp án”. Lúc này mô hình chưa biết câu đích — nó phải tự đoán.

Thử nghiệm: chọn một cặp câu, xem mô hình sai chỗ nào

Đây là một mô hình rút gọn. Phân phối xác suất là minh họa, nhưng logic loss-gradient-update đúng như trong GNMT thật. Ví dụ với “I love you” → “Tôi yêu bạn”: mô hình dự đoán “Tôi” (0.72, đúng), “yêu” (đúng), rồi “em” (0.51, SAI — đáng lẽ là “bạn”). Loss tổng của câu = 0.34.

Gradient không phân phối đều — lớp nào nhận nhiều chỉnh sửa nhất?

Cùng cặp câu, các lớp khác nhau nhận các mức “liều chỉnh” khác nhau. Lớp gần output (nơi loss phát sinh) thường nhận gradient lớn, lớp gần input thường nhận gradient nhỏ — đó là lý do mạng sâu không kết nối tắt dễ bị “biến mất gradient” ở lớp thấp.

Mẫu hình chung: softmax head > decoder cao > attention > decoder thấp > encoder cao > encoder thấp > embedding. Lớp gần đầu ra gần loss hơn → gradient ít bị nhân với nhiều đạo hàm cục bộ → ít bị suy giảm.

Google huấn luyện GNMT không dùng từng cặp câu một, mà gộp 32 cặp thành MỘT mini-batch rồi backprop trung bình gradient. Lợi ích chính của cách này là gì?

Bốn điều cần nhớ về backprop trong dịch máy

  • Mỗi cặp câu Anh-Việt là một bài học: forward sinh dự đoán → loss đo sai → backward trôi ngược → update nhích weights.
  • Gradient của lớp gần output thường lớn; lớp gần input nhỏ. Kết nối tắt giữ gradient không bị triệt tiêu khi qua 16 lớp.
  • Mini-batch 32 cặp câu khử nhiễu gradient, tận dụng GPU song song — cân bằng giữa ổn định và tốc độ.
  • Không có backprop, không có Google Translate như hôm nay: 36 triệu cặp câu × hàng trăm triệu trọng số không thể chỉnh tay.

Bài học rút ra: sức mạnh của backprop không nằm ở một cặp câu đơn lẻ. Mỗi lần lan truyền ngược chỉ chỉnh weights một chút xíu. Nhưng lặp lại hàng tỉ lần trên 36 triệu cặp câu, mô hình học được cấu trúc ngữ pháp, kính ngữ, cách dịch thành ngữ, và cả sắc thái văn hóa. Đó là phép màu của thuật toán: đơn giản mỗi bước, kỳ diệu khi nhân lên.

Continue the path

Lesson 81 of 106