Giới thiệu
Bạn gõ “Chào bạn” vào ChatGPT (trợ lý chat của OpenAI). Khoảng 20 mili-giây sau, token đầu tiên hiện ra. Rồi từng token kế tiếp, cứ đều đặn hơn chục mili-giây một cái. Câu trả lời dài 200 từ xuất hiện trong chưa tới 5 giây.
Trong mỗi 20 mili-giây đó, dữ liệu của bạn chạy xuyên qua hàng trăm tỉ tham số — con số mà mô hình đã học từ hàng ngàn tỉ từ văn bản. Quá trình này gọi là lan truyền thuận (forward propagation): dữ liệu đi một chiều từ đầu vào qua các tầng, tới đầu ra, không quay lại. Bài này mở ra từng bước của một lượt lan truyền đó.
Mỗi token mới mất khoảng 20 mili-giây — chạy qua toàn bộ mạng nơ-ron GPT-4. Mỗi từ xuất hiện là một lượt lan truyền thuận đi xuyên qua hàng trăm tỉ tham số. ChatGPT cần đọc lại toàn bộ đoạn hội thoại đã có, rồi đoán token tiếp theo hợp nhất. Với mỗi token mới, quá trình lặp lại — nghĩa là một câu trả lời 200 từ cần khoảng 250 – 300 lượt lan truyền.
Mỗi lượt đi qua hàng chục tới hàng trăm tầng Transformer (khối mạng chuyên xử lý chuỗi), thực hiện hàng trăm tỉ phép tính nhân-cộng. Nhưng người dùng chỉ chịu được vài giây chờ — nếu lâu hơn, trải nghiệm chat thời gian thực sẽ không dùng được.
Thêm một vấn đề nhức hơn: cửa sổ ngữ cảnh (context window) có giới hạn. Mô hình chỉ nhớ được một số token nhất định trong một lần gọi — vài nghìn tới vài trăm nghìn tuỳ phiên bản.
Một lượt sinh token, từng giai đoạn
Pipeline tương tác
1. Tokenize
Câu hỏi được cắt thành các mảnh nhỏ gọi là token. Ví dụ “Chào bạn, hôm nay thời tiết” thành [“Chào”, “ bạn”, “,”, “ hôm”, “ nay”, “ thời”, “ tiết”]. Mỗi token có một mã số riêng trong từ điển của mô hình.