Bạn dán 200 trang tài liệu vào ChatGPT miễn phí và hỏi 'Tóm tắt giúp tôi'. Theo bạn, AI sẽ làm gì?
Predict first
Dán 200 trang vào ChatGPT miễn phí rồi hỏi tóm tắt. Điều gì xảy ra?
Hôm nay bạn sẽ học chính xác AI có thể "thấy" được bao nhiêu chữ trong một lần chat, mô hình nào chứa được bao nhiêu, và làm sao để tài liệu dài không bị âm thầm cắt mất.
Hình dung cho dễ
Ba cách hình dung
1 / 3
1. Bàn làm việc
**Context window** giống **bàn làm việc** của AI. Bạn đặt tài liệu, câu hỏi, lịch sử hội thoại lên đó. Khi bàn đầy, tờ cũ nhất bị đẩy rơi xuống sàn — AI *không còn nhìn thấy* nữa.
Ví dụ
Số token
"hello"
1 token
"ngôi sao"
≈ 2–3 token
"cà phê sữa đá"
≈ 5 token
1 trang A4
≈ 600–700 token
Không cần đếm chính xác. Chỉ cần nhớ quy đổi thô: 1 trang ≈ 700 token, 100 trang ≈ 70K token.
Tìm kim trong đống rơm
Hãy tưởng tượng bạn giấu một câu bí mật ("mật khẩu wifi văn phòng là cafesang2025") vào đầu, giữa, hoặc cuối của một tài liệu dài, rồi hỏi AI tìm lại. Dưới đây là điểm thành công thực nghiệm.
Với tài liệu NGẮN
Khi tài liệu ngắn (dưới 10 trang), AI tìm lại thông tin gần như hoàn hảo dù bạn giấu ở đâu. **Yên tâm đặt câu hỏi tự nhiên.**
Với tài liệu DÀI
Khi tài liệu lên tới hàng trăm trang, AI đọc kỹ phần đầu và phần cuối, còn phần giữa dễ bị "lơ" (xuống tới 40–60% trong một số thử nghiệm). **Bí kíp: đặt câu hỏi quan trọng ở đầu hoặc cuối prompt, đừng chôn ở giữa.**
Thay đổi tùy theo tài liệu ngắn hay dài — quan sát khác biệt.
Cân đối prompt
Mỗi lần bạn chat, có 4 khoản luôn cùng nằm trong context. Kéo slider để thấy khoản nào ngốn nhiều nhất — và khi nào ngân sách bị vượt.
Khoản
Ý nghĩa
Lời dặn đầu (system prompt) token
Phần đặt vai trò, quy tắc cho AI
Lịch sử hội thoại trước đó token
Các lượt chat đã xảy ra trong cùng phiên
Tài liệu bạn dán vào lần này token
Email, báo cáo, hợp đồng — cái bạn paste
Dự phòng cho câu trả lời của AI token
Phải có chỗ cho AI viết trả lời — thường 2–8K
Ngân sách âm! Bạn cần giảm tài liệu, rút gọn lịch sử, hoặc đổi mô hình có context lớn hơn.
Khoảnh khắc Aha
Context window là một chiếc bàn có diện tích cố định, không phải bộ nhớ vô hạn. Mọi thứ bạn gửi — câu hỏi, tài liệu, lịch sử — cùng phải nằm trên bàn một lúc với phần trả lời của AI. Khi bàn đầy, tờ cũ rơi xuống và AI không còn thấy nó nữa, nhưng AI vẫn trả lời trông có vẻ tự tin như thường.
Thử áp dụng
Sếp đưa bạn một PDF 500 trang (≈ 350K token) và bảo: 'Tóm tắt cho anh trong 1 đoạn'. Bạn chọn chiến lược nào?
350K token vượt mọi mô hình phổ thông (Claude 200K cũng chưa đủ). Chiến lược 'chia nhỏ — tóm mỗi phần — gộp lại' (map-reduce) là cách chuẩn. Hoặc bạn có thể dùng Gemini 1.5 Pro (2M token) để đọc trong một lần, nhưng vẫn nên tóm theo phần để AI đọc kỹ hơn (nhớ vụ 'lost in the middle'!).
Hiểu sâu hơn
Các mô hình phổ biến 2025: ai chứa được bao nhiêu trang?
Thang log, chứ không phải tuyến tính — vì GPT-3.5 (4K) tới Gemini 1.5 (2M) chênh tới 500 lần. Hàng số bên phải là ước tính quy đổi ra trang A4.
Mô hình
Nhà cung cấp
Ghi chú
GPT-3.5 miễn phí
OpenAI
vừa đủ một trang email dài
GPT-4o
OpenAI
đọc được một tiểu luận dài
Claude 3.5 / 4
Anthropic
ngốn gọn một hợp đồng 300 trang
Gemini 1.5 Pro
Google
nuốt cả tủ hồ sơ pháp lý
4 cách xử lý tài liệu vượt ngân sách
Khi tài liệu của bạn vượt context của mô hình đang dùng. Không có cách duy nhất đúng — tùy tình huống.
Cách xử lý
Khi nào dùng
Cách làm
Ưu và nhược
1. Chia nhỏ (Chunking)
Khi có thể tóm từng phần rồi gộp
Cắt tài liệu thành phần 20–50 trang, tóm mỗi phần, rồi gộp các bản tóm tắt thành tóm tắt cuối.
+ Đơn giản, không cần công cụ đặc biệt. − Có thể mất mối liên kết xuyên suốt giữa các phần.
2. Đổi mô hình context lớn
Khi cần đọc cả tài liệu trong một lần
Chuyển sang Claude 3.5 (200K), Gemini 1.5 Pro (1–2M) hoặc Claude 1M beta.
+ Đơn giản, AI có bối cảnh đầy đủ. − Đắt hơn (theo token) và phần giữa vẫn dễ 'bị lơ'.
3. RAG (có thư viện riêng)
Khi kho tri thức rất lớn, hỏi đi hỏi lại
Lưu tài liệu vào một kho vector, mỗi câu hỏi hệ thống chỉ lấy vài đoạn liên quan nhất để nạp vào prompt.
+ Kho có thể rộng vô hạn, chi phí thấp mỗi lần hỏi. − Cần tool riêng (Notion AI, Claude Projects, ChatGPT 'Custom GPTs', v.v.).
4. Tóm tắt cuốn chiếu (Rolling summary)
Khi cuộc chat kéo dài nhiều tiếng, nhiều lượt
Cứ sau mỗi 10–15 lượt, nhờ AI tóm lại bối cảnh đến giờ thành vài dòng, rồi dùng đoạn đó thay cho lịch sử gốc.
+ Giữ được mạch ngữ cảnh mà không tràn ngân sách. − Chi tiết nhỏ có thể rơi rụng sau mỗi lần tóm tắt.
Vì sao context lớn hơn lại đắt hơn nhiều lần?
Mỗi lần xử lý, mô hình phải so khớp mỗi token với mọi token khác trong cửa sổ. Gấp đôi context thì lượng so khớp tăng gấp bốn. Đó là lý do các nhà cung cấp tính tiền theo số token input — và vì sao một prompt 200K token có thể đắt gấp vài trăm lần một prompt 2K token. Khi bạn làm dự án dùng AI ở quy mô công ty, con số này nhân với số lượt truy cập mỗi ngày là chi phí thực.
Claude Projects, ChatGPT GPTs, NotebookLM — tự xử lý context giúp bạn?
Ba sản phẩm phổ biến này đều âm thầm áp dụng các chiến lược ở trên (RAG, chunking, rolling summary). Khi bạn upload PDF 500 trang vào Claude Projects hay NotebookLM, hệ thống không nhét trọn 500 trang vào mỗi prompt — nó lưu vào kho và chỉ truy xuất đoạn liên quan khi bạn hỏi. Đây là lý do chất lượng thường ổn định hơn so với việc tự copy-paste toàn bộ tài liệu vào khung chat.
Khi AI "quên" — vì sao nó vẫn trả lời rất tự tin?
Mô hình ngôn ngữ không biết mình đang quên. Nó chỉ đoán chữ tiếp theo dựa trên phần đang "thấy". Khi phần đầu cuộc chat bị cắt (tên bạn, yêu cầu ban đầu, hướng dẫn quan trọng), AI vẫn tiếp tục sinh câu trả lời mượt mà — nhưng có thể sai bối cảnh hoàn toàn. Đây là lý do cho những câu chuyện "AI đổi giọng giữa chừng" hoặc "quên tên tôi sau 100 lượt chat".
Ghim vào đầu
5 điều cần nhớ về Context Window
Context window là 'bàn làm việc' của AI — mọi thứ bạn gửi + phần AI trả lời cùng nằm trên bàn một lúc. Vượt ngân sách là tờ cũ bị đẩy xuống.
Quy đổi thô dễ nhớ: 1 trang A4 ≈ 700 token; 100 trang ≈ 70K token. Tiếng Việt tốn thêm ~30% so với tiếng Anh.
Các mốc 2025: GPT-3.5 miễn phí 4K (≈ 6 trang), GPT-4o 128K (200 trang), Claude 3.5 200K (310 trang), Gemini 1.5 Pro 2M (3.100 trang).
AI đọc kỹ phần đầu và phần cuối của tài liệu dài hơn phần giữa ('lost in the middle'). Đặt câu hỏi trọng yếu ở đầu hoặc cuối.
Khi tài liệu vượt ngân sách: chia nhỏ (chunking), đổi mô hình context lớn, dùng RAG (Claude Projects / NotebookLM), hoặc tóm tắt cuốn chiếu.