ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← LLM & NLP

AI Builder

Cửa sổ ngữ cảnh

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Giới hạn số lượng token mà mô hình có thể xử lý cùng lúc — ảnh hưởng đến khả năng hiểu và nhớ ngữ cảnh.

lesson24 minLLM & NLPAI Engineer

The same lesson, opened from AI Foundation / Bắt đầu với AI, AI Engineer / LLM & NLP.

Thử đoán trước

Bạn dán 200 trang tài liệu vào ChatGPT miễn phí và hỏi 'Tóm tắt giúp tôi'. Theo bạn, AI sẽ làm gì?

Predict first

Dán 200 trang vào ChatGPT miễn phí rồi hỏi tóm tắt. Điều gì xảy ra?

Hôm nay bạn sẽ học chính xác AI có thể "thấy" được bao nhiêu chữ trong một lần chat, mô hình nào chứa được bao nhiêu, và làm sao để tài liệu dài không bị âm thầm cắt mất.

Hình dung cho dễ

Ba cách hình dung

1 / 3
  1. 1. Bàn làm việc

    **Context window** giống **bàn làm việc** của AI. Bạn đặt tài liệu, câu hỏi, lịch sử hội thoại lên đó. Khi bàn đầy, tờ cũ nhất bị đẩy rơi xuống sàn — AI *không còn nhìn thấy* nữa.

Ví dụSố token
"hello"1 token
"ngôi sao"≈ 2–3 token
"cà phê sữa đá"≈ 5 token
1 trang A4≈ 600–700 token

Không cần đếm chính xác. Chỉ cần nhớ quy đổi thô: 1 trang ≈ 700 token, 100 trang ≈ 70K token.

Tìm kim trong đống rơm

Hãy tưởng tượng bạn giấu một câu bí mật ("mật khẩu wifi văn phòng là cafesang2025") vào đầu, giữa, hoặc cuối của một tài liệu dài, rồi hỏi AI tìm lại. Dưới đây là điểm thành công thực nghiệm.

Với tài liệu NGẮN

  • Khi tài liệu ngắn (dưới 10 trang), AI tìm lại thông tin gần như hoàn hảo dù bạn giấu ở đâu. **Yên tâm đặt câu hỏi tự nhiên.**

Với tài liệu DÀI

  • Khi tài liệu lên tới hàng trăm trang, AI đọc kỹ phần đầu và phần cuối, còn phần giữa dễ bị "lơ" (xuống tới 40–60% trong một số thử nghiệm). **Bí kíp: đặt câu hỏi quan trọng ở đầu hoặc cuối prompt, đừng chôn ở giữa.**

Thay đổi tùy theo tài liệu ngắn hay dài — quan sát khác biệt.

Cân đối prompt

Mỗi lần bạn chat, có 4 khoản luôn cùng nằm trong context. Kéo slider để thấy khoản nào ngốn nhiều nhất — và khi nào ngân sách bị vượt.

KhoảnÝ nghĩa
Lời dặn đầu (system prompt) tokenPhần đặt vai trò, quy tắc cho AI
Lịch sử hội thoại trước đó tokenCác lượt chat đã xảy ra trong cùng phiên
Tài liệu bạn dán vào lần này tokenEmail, báo cáo, hợp đồng — cái bạn paste
Dự phòng cho câu trả lời của AI tokenPhải có chỗ cho AI viết trả lời — thường 2–8K

Ngân sách âm! Bạn cần giảm tài liệu, rút gọn lịch sử, hoặc đổi mô hình có context lớn hơn.

Khoảnh khắc Aha

Context window là một chiếc bàn có diện tích cố định, không phải bộ nhớ vô hạn. Mọi thứ bạn gửi — câu hỏi, tài liệu, lịch sử — cùng phải nằm trên bàn một lúc với phần trả lời của AI. Khi bàn đầy, tờ cũ rơi xuống và AI không còn thấy nó nữa, nhưng AI vẫn trả lời trông có vẻ tự tin như thường.

Thử áp dụng

Sếp đưa bạn một PDF 500 trang (≈ 350K token) và bảo: 'Tóm tắt cho anh trong 1 đoạn'. Bạn chọn chiến lược nào?

Sếp đưa một PDF 500 trang (≈ 350K token). Cách nào hợp lý nhất?

350K token vượt mọi mô hình phổ thông (Claude 200K cũng chưa đủ). Chiến lược 'chia nhỏ — tóm mỗi phần — gộp lại' (map-reduce) là cách chuẩn. Hoặc bạn có thể dùng Gemini 1.5 Pro (2M token) để đọc trong một lần, nhưng vẫn nên tóm theo phần để AI đọc kỹ hơn (nhớ vụ 'lost in the middle'!).

Hiểu sâu hơn

Các mô hình phổ biến 2025: ai chứa được bao nhiêu trang?

Thang log, chứ không phải tuyến tính — vì GPT-3.5 (4K) tới Gemini 1.5 (2M) chênh tới 500 lần. Hàng số bên phải là ước tính quy đổi ra trang A4.

Mô hìnhNhà cung cấpGhi chú
GPT-3.5 miễn phíOpenAIvừa đủ một trang email dài
GPT-4oOpenAIđọc được một tiểu luận dài
Claude 3.5 / 4Anthropicngốn gọn một hợp đồng 300 trang
Gemini 1.5 ProGooglenuốt cả tủ hồ sơ pháp lý

4 cách xử lý tài liệu vượt ngân sách

Khi tài liệu của bạn vượt context của mô hình đang dùng. Không có cách duy nhất đúng — tùy tình huống.

Cách xử lýKhi nào dùngCách làmƯu và nhược
1. Chia nhỏ (Chunking)Khi có thể tóm từng phần rồi gộpCắt tài liệu thành phần 20–50 trang, tóm mỗi phần, rồi gộp các bản tóm tắt thành tóm tắt cuối.+ Đơn giản, không cần công cụ đặc biệt. − Có thể mất mối liên kết xuyên suốt giữa các phần.
2. Đổi mô hình context lớnKhi cần đọc cả tài liệu trong một lầnChuyển sang Claude 3.5 (200K), Gemini 1.5 Pro (1–2M) hoặc Claude 1M beta.+ Đơn giản, AI có bối cảnh đầy đủ. − Đắt hơn (theo token) và phần giữa vẫn dễ 'bị lơ'.
3. RAG (có thư viện riêng)Khi kho tri thức rất lớn, hỏi đi hỏi lạiLưu tài liệu vào một kho vector, mỗi câu hỏi hệ thống chỉ lấy vài đoạn liên quan nhất để nạp vào prompt.+ Kho có thể rộng vô hạn, chi phí thấp mỗi lần hỏi. − Cần tool riêng (Notion AI, Claude Projects, ChatGPT 'Custom GPTs', v.v.).
4. Tóm tắt cuốn chiếu (Rolling summary)Khi cuộc chat kéo dài nhiều tiếng, nhiều lượtCứ sau mỗi 10–15 lượt, nhờ AI tóm lại bối cảnh đến giờ thành vài dòng, rồi dùng đoạn đó thay cho lịch sử gốc.+ Giữ được mạch ngữ cảnh mà không tràn ngân sách. − Chi tiết nhỏ có thể rơi rụng sau mỗi lần tóm tắt.

Vì sao context lớn hơn lại đắt hơn nhiều lần?

Mỗi lần xử lý, mô hình phải so khớp mỗi token với mọi token khác trong cửa sổ. Gấp đôi context thì lượng so khớp tăng gấp bốn. Đó là lý do các nhà cung cấp tính tiền theo số token input — và vì sao một prompt 200K token có thể đắt gấp vài trăm lần một prompt 2K token. Khi bạn làm dự án dùng AI ở quy mô công ty, con số này nhân với số lượt truy cập mỗi ngày là chi phí thực.

Claude Projects, ChatGPT GPTs, NotebookLM — tự xử lý context giúp bạn?

Ba sản phẩm phổ biến này đều âm thầm áp dụng các chiến lược ở trên (RAG, chunking, rolling summary). Khi bạn upload PDF 500 trang vào Claude Projects hay NotebookLM, hệ thống không nhét trọn 500 trang vào mỗi prompt — nó lưu vào kho và chỉ truy xuất đoạn liên quan khi bạn hỏi. Đây là lý do chất lượng thường ổn định hơn so với việc tự copy-paste toàn bộ tài liệu vào khung chat.

Khi AI "quên" — vì sao nó vẫn trả lời rất tự tin?

Mô hình ngôn ngữ không biết mình đang quên. Nó chỉ đoán chữ tiếp theo dựa trên phần đang "thấy". Khi phần đầu cuộc chat bị cắt (tên bạn, yêu cầu ban đầu, hướng dẫn quan trọng), AI vẫn tiếp tục sinh câu trả lời mượt mà — nhưng có thể sai bối cảnh hoàn toàn. Đây là lý do cho những câu chuyện "AI đổi giọng giữa chừng" hoặc "quên tên tôi sau 100 lượt chat".

Ghim vào đầu

5 điều cần nhớ về Context Window

  • Context window là 'bàn làm việc' của AI — mọi thứ bạn gửi + phần AI trả lời cùng nằm trên bàn một lúc. Vượt ngân sách là tờ cũ bị đẩy xuống.
  • Quy đổi thô dễ nhớ: 1 trang A4 ≈ 700 token; 100 trang ≈ 70K token. Tiếng Việt tốn thêm ~30% so với tiếng Anh.
  • Các mốc 2025: GPT-3.5 miễn phí 4K (≈ 6 trang), GPT-4o 128K (200 trang), Claude 3.5 200K (310 trang), Gemini 1.5 Pro 2M (3.100 trang).
  • AI đọc kỹ phần đầu và phần cuối của tài liệu dài hơn phần giữa ('lost in the middle'). Đặt câu hỏi trọng yếu ở đầu hoặc cuối.
  • Khi tài liệu vượt ngân sách: chia nhỏ (chunking), đổi mô hình context lớn, dùng RAG (Claude Projects / NotebookLM), hoặc tóm tắt cuốn chiếu.

Continue the module

Lesson 10 of 10