Giới thiệu
Bạn gõ “Xin chào” vào Google Translate và ngay lập tức nhận được “Hello”. Đằng sau khoảnh khắc đó là hàng triệu cặp câu Anh-Việt mà mô hình đã nhìn qua trong lúc huấn luyện. Mỗi cặp là một cơ hội mắc lỗi — và mỗi lỗi là một lần thuật toán lan truyền ngược đi đánh dấu lại hàng triệu trọng số bên trong mạng nơ-ron.
Mạng nơ-ron 16 lớp (8 encoder + 8 decoder) lần đầu tiên có thể dịch cả câu trọn vẹn thay vì dịch từng cụm rời rạc. Toàn bộ mạng đó được huấn luyện bằng một thuật toán duy nhất: lan truyền ngược.
Trước năm 2016, Google Translate ghép từng cụm từ lại với nhau theo phương pháp thống kê. Bản dịch thường đứt gãy giữa câu, mất ngữ cảnh, và đặc biệt kém với cặp ngôn ngữ xa nhau như Anh-Việt. Giải pháp hiển nhiên: một mạng nơ-ron 16 lớp đọc toàn bộ câu nguồn, rồi sinh ra câu đích trọn vẹn.
Nhưng mạng đó có hàng trăm triệu trọng số. Không ai chỉnh tay được. Cần một thuật toán tự động: nhìn vào lỗi dịch ở đầu ra, rồi quay ngược về từng trọng số và nói chính xác nó phải nhích bao nhiêu theo hướng nào. Thuật toán đó chính là lan truyền ngược.
| Thông số | Giá trị |
|---|---|
| Kiến trúc | 8 lớp encoder LSTM + 8 lớp decoder LSTM, mỗi lớp 1.024 nút |
| Trọng số | Hàng trăm triệu |
| Dữ liệu huấn luyện | 36 triệu cặp câu Anh-Việt |
Một vòng huấn luyện với một cặp câu
1. Chọn một cặp câu từ dữ liệu
Hệ thống bốc ngẫu nhiên một cặp (câu nguồn, câu đích) từ kho 36 triệu cặp song ngữ. Câu nguồn đi vào encoder, câu đích giữ lại làm “đáp án”. Lúc này mô hình chưa biết câu đích — nó phải tự đoán.
Thử nghiệm: chọn một cặp câu, xem mô hình sai chỗ nào
Đây là một mô hình rút gọn. Phân phối xác suất là minh họa, nhưng logic loss-gradient-update đúng như trong GNMT thật. Ví dụ với “I love you” → “Tôi yêu bạn”: mô hình dự đoán “Tôi” (0.72, đúng), “yêu” (đúng), rồi “em” (0.51, SAI — đáng lẽ là “bạn”). Loss tổng của câu = 0.34.