Thử thách
Mô hình B đoán kém hơn → "bất ngờ" nhiều hơn → BỐI RỐI hơn. Perplexity đo chính xác điều này: mô hình bối rối đến mức nào khi gặp văn bản mới. Perplexity THẤP = tự tin, đúng. Perplexity CAO = bối rối, sai.
Evaluating routing across providers.
AI Researcher
Chỉ số đánh giá mô hình ngôn ngữ, đo mức độ 'bất ngờ' khi mô hình gặp dữ liệu mới.
Mô hình B đoán kém hơn → "bất ngờ" nhiều hơn → BỐI RỐI hơn. Perplexity đo chính xác điều này: mô hình bối rối đến mức nào khi gặp văn bản mới. Perplexity THẤP = tự tin, đúng. Perplexity CAO = bối rối, sai.
Perplexity = mô hình "bối rối" giữa bao nhiêu lựa chọn tại mỗi vị trí. PPL = 10 nghĩa là phân vân giữa 10 từ. PPL = 2 nghĩa là gần như biết chắc!
Giống chơi đoán từ: người giỏi (PPL thấp) thường đoán đúng, ít bất ngờ. Người kém (PPL cao) liên tục "ồ, không ngờ" khi thấy từ tiếp theo.
Perplexity cho thấy sự tiến bộ của NLP qua các thế hệ mô hình:
Từ ngẫu nhiên (50K) → GPT-4 (8, theo nguồn bài, chưa kiểm chứng): perplexity giảm 6,250 lần nhờ kiến trúc tốt hơn + dữ liệu nhiều hơn!
Chọn ngẫu nhiên: mỗi từ có xác suất 1/50,000 → PPL = 50,000. Bất kỳ mô hình nào có PPL < 50,000 đều tốt hơn chọn ngẫu nhiên! GPT-4 với PPL ≈ 8 tốt hơn 6,250 lần.
Perplexity là chỉ số đánh giá nội tại (intrinsic metric) phổ biến nhất cho mô hình ngôn ngữ như GPT và BERT, đo mức "bất ngờ" trung bình khi gặp mỗi token sau khi qua bước tokenization.