AI Builder
Top-K và Top-P — Lấy mẫu có chọn lọc
Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.Hai kỹ thuật lọc từ vựng trước khi chọn token tiếp theo, giúp kiểm soát chất lượng và đa dạng.
Lọc từ trước khi chọn
Ví dụ: câu “Sáng nay tôi ăn ___” với mười từ ứng viên có xác suất khác nhau.
| Cách lọc | Quy tắc | Điểm mạnh | Điểm yếu |
|---|---|---|---|
| Top-K | Giữ đúng K từ xác suất cao nhất (cố định) | Đơn giản, dễ hiểu | Cứng nhắc: không thích ứng với mức tự tin của mô hình |
| Top-P (nucleus) | Giữ từ cho đến khi tổng xác suất tích luỹ đạt P | Tự điều chỉnh theo mức tự tin của mô hình | Phức tạp hơn một chút |
Đi sâu — khi nào Top-K gặp vấn đề?
Mô hình tự tin: một từ chiếm 85%
Phân phối: “phở” 85%, “cơm” 8%, “bún” 4%, các từ còn lại dưới 1%.
- Top-K = 5: giữ 5 từ, nhưng 3 từ cuối gần như vô nghĩa (0,5%, 0,3%…). Lãng phí.
- Top-P = 0,9: chỉ giữ “phở”, vì 85% chưa đạt 90% nên cần thêm “cơm” và “bún”; sau đó mới đủ 90%. Hiệu quả hơn.
Mô hình không chắc: các từ gần bằng nhau
Phân phối: “phở” 15%, “cơm” 14%, “bún” 13%, và các từ khác đều nhau.
- Top-K = 5: giữ 5 từ nhưng bỏ sót nhiều từ có xác suất gần bằng.
- Top-P = 0,9: giữ khoảng 7 đến 8 từ, vì cần nhiều từ mới đạt 90%. Linh hoạt.
Top-P tự điều chỉnh số từ theo mức tự tin: ít từ khi chắc chắn, nhiều từ khi không chắc.
Khoảnh khắc aha
Top-K giữ đúng K từ có xác suất cao nhất. Top-P (nucleus sampling) giữ từ cho đến khi tổng xác suất đạt P. Cả hai đều lọc bớt phần đuôi trước khi chọn; nhưng Top-P thông minh hơn vì tự điều chỉnh theo mức tự tin.
Thử thách
Giải thích
Top-K và Top-P là hai kỹ thuật lọc từ vựng trước khi chọn token, bổ sung cho temperature. Khác với beam search (xác định, khám phá nhiều nhánh song song), top-k và top-p giữ tính ngẫu nhiên nhưng loại bỏ token xác suất thấp để tránh output vô nghĩa.
Ví dụ gọi API
sampling.py
response = client.messages.create(
model="claude-sonnet-4-20250514",
max_tokens=100,
# Chỉ chỉnh MỘT trong hai:
temperature=0.8, # Hoặc...
top_p=0.9, # ...cái này (không nên cả hai)
# top_k=40, # Ít dùng hơn top_p
messages=[{"role": "user", "content": "Viết thơ về Hà Nội"}]
)Tóm tắt
- Top-K giữ đúng K từ có xác suất cao nhất (cố định): đơn giản nhưng cứng nhắc.
- Top-P giữ từ đến khi tổng xác suất đạt P: linh hoạt theo mức tự tin.
- Pipeline: Logit → Temperature → Top-K hoặc Top-P → Sampling.
- Thực tế: chỉnh temperature hoặc top_p, không nên chỉnh cả hai cùng lúc.