ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← NLP & Multimodal

AI Researcher

Perplexity - Độ bối rối của mô hình ngôn ngữ

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Chỉ số đánh giá mô hình ngôn ngữ, đo mức độ 'bất ngờ' khi mô hình gặp dữ liệu mới.

lesson102 minNLP & MultimodalAI Researcher

Thử thách

Mô hình A đoán đúng 80% từ, mô hình B đoán đúng 40% từ. Mô hình nào "bối rối" hơn?

Mô hình B đoán kém hơn → "bất ngờ" nhiều hơn → BỐI RỐI hơn. Perplexity đo chính xác điều này: mô hình bối rối đến mức nào khi gặp văn bản mới. Perplexity THẤP = tự tin, đúng. Perplexity CAO = bối rối, sai.

Khoảnh khắc A-ha

Perplexity = mô hình "bối rối" giữa bao nhiêu lựa chọn tại mỗi vị trí. PPL = 10 nghĩa là phân vân giữa 10 từ. PPL = 2 nghĩa là gần như biết chắc!

Giống chơi đoán từ: người giỏi (PPL thấp) thường đoán đúng, ít bất ngờ. Người kém (PPL cao) liên tục "ồ, không ngờ" khi thấy từ tiếp theo.

So sánh mô hình

Perplexity cho thấy sự tiến bộ của NLP qua các thế hệ mô hình:

Từ ngẫu nhiên (50K) → GPT-4 (8, theo nguồn bài, chưa kiểm chứng): perplexity giảm 6,250 lần nhờ kiến trúc tốt hơn + dữ liệu nhiều hơn!

Thử thách nhanh

Mô hình có từ vựng 50,000 từ. Nếu chọn NGẪU NHIÊN (phân phối đều), perplexity bằng bao nhiêu?

Chọn ngẫu nhiên: mỗi từ có xác suất 1/50,000 → PPL = 50,000. Bất kỳ mô hình nào có PPL < 50,000 đều tốt hơn chọn ngẫu nhiên! GPT-4 với PPL ≈ 8 tốt hơn 6,250 lần.

Lý thuyết

Perplexity là chỉ số đánh giá nội tại (intrinsic metric) phổ biến nhất cho mô hình ngôn ngữ như GPT và BERT, đo mức "bất ngờ" trung bình khi gặp mỗi token sau khi qua bước tokenization.

Tóm tắt

  • Perplexity đo mức 'bối rối' của mô hình: PPL thấp = tự tin, PPL cao = bối rối.
  • PPL = 2^(cross-entropy). PPL ≈ k nghĩa là phân vân giữa ~k từ mỗi vị trí.
  • Chỉ so sánh PPL khi cùng vocabulary VÀ cùng tập kiểm tra.
  • Tiến bộ: Random (50K) → N-gram (200) → LSTM (50) → GPT-2 (18) → GPT-4 (8).
  • PPL không đo chất lượng nội dung: cần thêm human eval, benchmark đa chiều.

Continue the module

Lesson 6 of 13