ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← Mạng nơ-ron

AI Foundation

Lan truyền thuận trong trợ lý chat

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Bạn gõ một câu, 20 mili-giây sau ChatGPT đáp. Mở từng giai đoạn của lượt lan truyền thuận để thấy điều gì xảy ra trong khoảnh khắc đó.

lesson50 minMạng nơ-ronAI Foundation

Giới thiệu

Bạn gõ “Chào bạn” vào ChatGPT (trợ lý chat của OpenAI). Khoảng 20 mili-giây sau, token đầu tiên hiện ra. Rồi từng token kế tiếp, cứ đều đặn hơn chục mili-giây một cái. Câu trả lời dài 200 từ xuất hiện trong chưa tới 5 giây.

Trong mỗi 20 mili-giây đó, dữ liệu của bạn chạy xuyên qua hàng trăm tỉ tham số — con số mà mô hình đã học từ hàng ngàn tỉ từ văn bản. Quá trình này gọi là lan truyền thuận (forward propagation): dữ liệu đi một chiều từ đầu vào qua các tầng, tới đầu ra, không quay lại. Bài này mở ra từng bước của một lượt lan truyền đó.

Mỗi token mới mất khoảng 20 mili-giây — chạy qua toàn bộ mạng nơ-ron GPT-4. Mỗi từ xuất hiện là một lượt lan truyền thuận đi xuyên qua hàng trăm tỉ tham số. ChatGPT cần đọc lại toàn bộ đoạn hội thoại đã có, rồi đoán token tiếp theo hợp nhất. Với mỗi token mới, quá trình lặp lại — nghĩa là một câu trả lời 200 từ cần khoảng 250 – 300 lượt lan truyền.

Mỗi lượt đi qua hàng chục tới hàng trăm tầng Transformer (khối mạng chuyên xử lý chuỗi), thực hiện hàng trăm tỉ phép tính nhân-cộng. Nhưng người dùng chỉ chịu được vài giây chờ — nếu lâu hơn, trải nghiệm chat thời gian thực sẽ không dùng được.

Thêm một vấn đề nhức hơn: cửa sổ ngữ cảnh (context window) có giới hạn. Mô hình chỉ nhớ được một số token nhất định trong một lần gọi — vài nghìn tới vài trăm nghìn tuỳ phiên bản.

Một lượt sinh token, từng giai đoạn

Pipeline tương tác

1 / 5
  1. 1. Tokenize

    Câu hỏi được cắt thành các mảnh nhỏ gọi là token. Ví dụ “Chào bạn, hôm nay thời tiết” thành [“Chào”, “ bạn”, “,”, “ hôm”, “ nay”, “ thời”, “ tiết”]. Mỗi token có một mã số riêng trong từ điển của mô hình.

Mở bên trong một lượt sinh token

Theo chân một token được sinh ra. Dữ liệu dùng ở đây là câu gõ dở “Chào bạn, hôm nay thời tiết” — mô hình đang cố đoán từ tiếp theo.

Năm bước của một lượt

1 / 5
  1. 1. 1. Có chuỗi token hiện tại

    Mô hình nhận vào tất cả token đã có cho tới lúc này — vừa là câu hỏi của bạn, vừa là các token mà chính nó vừa sinh ra: “Chào bạn , hôm nay thời tiết” + ? (cần sinh token kế tiếp).

Vì sao cửa sổ ngữ cảnh (context window) của mô hình lại có giới hạn, không thể vô hạn?

Ba điều đáng nhớ

  • Mỗi token ChatGPT gõ ra là một lượt lan truyền thuận xuyên qua pipeline: tokenize → embed → transformer → softmax → sample.
  • Nhiệt độ (temperature) điều chỉnh bước sampling — thấp thì chọn chắc, cao thì dám chọn token hiếm.
  • KV Cache và song song hoá GPU là lý do một lượt lan truyền qua hàng trăm tỉ tham số kết thúc trong khoảng 20 mili-giây.

Nếu không có lan truyền thuận — tức là không có cơ chế đưa dữ liệu có hệ thống qua các tầng — mạng nơ-ron sẽ không biết biến đầu vào thành đầu ra. Không có lan truyền thuận, không có ChatGPT.

Nếu có lan truyền thuận nhưng không có KV Cache và GPU song song hoá, mỗi token mới sẽ phải tính lại từ đầu toàn bộ chuỗi. Một câu trả lời 200 token sẽ chậm gấp hàng trăm lần — thay vì vài giây, bạn phải chờ vài phút. Trải nghiệm chat thời gian thực sẽ biến mất.

Mặt trái của tốc độ

Tốc độ sinh token nhanh tới mức người dùng dễ tin tưởng quá. Mô hình đôi khi “bốc thăm” trúng một token ít phổ biến và rẽ cả câu trả lời sang hướng sai — đây là nguyên nhân gốc của hiện tượng ảo giác (hallucination). Nhanh không đồng nghĩa đúng.

Continue the path

Lesson 79 of 106