Dự đoán
HumanEval đo code completion trên bài toán học thuật. CSAT đo trải nghiệm trò chuyện của khách hàng. Hai phân phối khác nhau hoàn toàn. 'Một số duy nhất để rank LLM' là ảo tưởng — phải nghĩ theo MA TRẬN metric × regime × use case.
Evaluating routing across providers.
AI Builder
Khung đánh giá LLM toàn diện: offline (golden set, LLM-as-judge, human eval) + online (shadow traffic, A/B, drift detection) — điều kiện tiên quyết để đưa LLM vào production một cách có trách nhiệm.
HumanEval đo code completion trên bài toán học thuật. CSAT đo trải nghiệm trò chuyện của khách hàng. Hai phân phối khác nhau hoàn toàn. 'Một số duy nhất để rank LLM' là ảo tưởng — phải nghĩ theo MA TRẬN metric × regime × use case.
Trải nghiệm bạn vừa làm chốt lại điều then chốt: không có một số duy nhất đánh giá LLM . Thay vào đó là một ma trận metric × regime × use case, và trọng số là thứ ép business phải ra quyết định — không phải thuật toán. Khi bạn đổi trọng số, bạn đang nói với tổ chức ưu tiên kinh doanh của chúng ta là gì. Đó cũng là lý do tại sao chọn LLM khó hơn chọn thư viện open-source.
Đã có đủ khung, giờ kiểm tra xem bạn có thể ra quyết định ngoài lý thuyết không. Hai tình huống sau đều xảy ra thường xuyên trong các team AI năm 2026:
Model A đứng #1 overall (composite 0.82) trên golden set. Nhưng khi slice theo segment 'khách hàng VIP' (top 5% revenue), A đứng #3; model C đứng #1 trên segment này. Bạn quyết định thế nào?
Aggregate che mất phân phối. Revenue concentration thường 80/20, nên một model #3 ở segment 5% top revenue có thể gây hại lớn hơn lợi ích của việc #1 overall. Model routing hoặc segment-specific prompt là giải pháp tiêu chuẩn — xem Chatbot Arena slice theo category (code, writing, reasoning) là lấy từ đúng nguyên tắc này.
Tình huống này rất gần với case 'CSAT tụt khi golden vẫn pass'. Khả năng cao: distribution drift hoặc golden không cover intent mới. Online sampling là công cụ số 1. Sau khi xác định có drift, mới quyết định bổ sung golden, retrain judge, hay rollback model.
Từ trực giác về ma trận metric, ta có thể hệ thống hoá thành một khung lý thuyết. Đánh giá LLM là quy trình đo chất lượng đầu ra của một mô hình ngôn ngữ trên một tập task, theo nhiều chiều, ở nhiều giai đoạn (offline → online → post-deployment). Nó khác cơ bản với đánh giá Agent vì LLM chỉ cho một output, còn Agent có nhiều bước + tương tác môi trường.
Có ba trụ cột cần nắm vững:
Offline chạy trên dataset cố định (golden set, benchmark công khai), lặp được, rẻ, làm gate cho CI. Online đo trên traffic thật qua shadow traffic (chạy song song không ảnh hưởng user), A/B test, hoặc interleaving. Team chín luôn có cả hai — vì offline pass không chứng minh prod ổn (bạn đã thấy ở viz). Ngoài ra, một golden set nhỏ 50-200 mẫu nên chạy hàng ngày như canary, alert khi pass rate sụt > 3%.
Eval không gắn với merge flow sẽ bị bỏ qua sau 2 tháng. Ngưỡng cứng trong CI (success ≥ 0.85, hallucination ≤ 0.02, format ≥ 0.95) là cách biến eval từ "decor" thành ràng buộc. Kết quả eval nên đổ về kho có thể slice: BigQuery (SQL tự do), MLflow (theo dõi thí nghiệm), hoặc Langfuse (trace-centric, tích hợp sẵn cho app LLM). Hai tín hiệu cần nhìn mỗi ngày: pass rate trên golden, và delta so với tuần trước.
Composite score là cách gói N metric thành một số duy nhất có thể rank:
Trong đó m̂_i ∈ [0,1] là giá trị chuẩn hoá (với chiều "càng thấp càng tốt" như hallucination hay cost thì dùng 1 − m), còn w_i là trọng số theo use case. Tổng trọng số phải bằng 1 — nếu không, điểm composite sẽ phụ thuộc vào quy mô trọng số thay vì vào giá trị thật sự của metric.
Để tổng hợp nhiều phép so sánh cặp (A thắng B, B thắng C…) thành một rating số, dùng công thức Elo:
E_A là xác suất A thắng khi rating hai bên là R_A, R_B. Sau mỗi trận,
với S_A ∈ {0, 0.5, 1}. Đây là công thức Chatbot Arena dùng để rank hàng trăm mô hình từ hàng triệu vote — và là cách đúng để tổng hợp pairwise preference.
from dataclasses import dataclass, field
from typing import Callable
from statistics import mean
@dataclass
class EvalResult:
metric: str
value: float
higher_is_better: bool
@dataclass
class EvalHarness:
golden_set: list # [{"prompt": ..., "reference": ..., "tags": [...]}, ...]
judges: dict[str, Callable] # name -> judge(output, sample) -> float
weights: dict[str, float] = field(default_factory=lambda: {
"task_success": 0.25,
"win_rate": 0.15,
"hallucination": 0.20, # càng thấp càng tốt
"factuality": 0.15,
"format": 0.10,
"refusal": 0.05, # càng thấp càng tốt
"cost": 0.10, # càng thấp càng tốt
})
gates: dict[str, float] = field(default_factory=lambda: {
"task_success": 0.85,
"hallucination": 0.02,
"format": 0.95,
})
def run(self, model) -> dict:
"""Chạy model trên toàn bộ golden set, thu tất cả score."""
per_sample = []
for sample in self.golden_set:
output = model.generate(sample["prompt"])
scores = {name: j(output, sample) for name, j in self.judges.items()}
scores["cost"] = model.last_cost_usd
per_sample.append(scores)
return self.aggregate(per_sample)
def aggregate(self, per_sample: list[dict]) -> dict:
"""Gộp về metric tổng, rồi tính composite."""
metrics = {k: mean(s[k] for s in per_sample) for k in per_sample[0].keys()}
# Chuẩn hoá về [0, 1] với logic ngược chiều cho lower-is-better
norm = {
"task_success": metrics["task_success"],
"win_rate": metrics.get("win_rate", 0.5),
"hallucination": 1 - metrics["hallucination"],
"factuality": metrics["factuality"],
"format": metrics["format"],
"refusal": 1 - metrics["refusal"],
"cost": max(0, 1 - metrics["cost"] / 0.05),
}
composite = sum(self.weights[k] * norm[k] for k in norm)
return {"metrics": metrics, "composite": composite}
def gate(self, result: dict) -> tuple[bool, list[str]]:
"""Trả về (pass?, danh sách gate fail)."""
failures = []
for metric, threshold in self.gates.items():
val = result["metrics"][metric]
ok = (val >= threshold) if metric not in {"hallucination", "refusal", "cost"} \
else (val <= threshold)
if not ok:
failures.append(f"{metric}={val:.3f} vs threshold {threshold}")
return (len(failures) == 0, failures)Harness ở trên là lõi; phần còn lại là integration. Chạy nightly bằng GitHub Actions, gate pre-merge trên PR, và đổ kết quả về BigQuery hoặc Langfuse để phân tích lịch sử:
name: LLM Eval (nightly + pre-merge)
on:
schedule:
- cron: "0 18 * * *" # 01h sáng VN — chạy sau deploy cuối ngày
pull_request:
paths:
- "prompts/**"
- "models.yaml"
- "src/chain/**"
jobs:
golden:
runs-on: ubuntu-latest
timeout-minutes: 40
steps:
- uses: actions/checkout@v4
- name: Run golden eval (500 mẫu, 2 judge)
env:
ANTHROPIC_API_KEY: ${{ secrets.ANTHROPIC_API_KEY }}
OPENAI_API_KEY: ${{ secrets.OPENAI_API_KEY }}
run: |
python -m evals.run \
--suite golden/v4 \
--model-under-test $MODEL \
--judges hallucination_v3 format_v2 factuality_v1 \
--output reports/eval.json
- name: Gate on thresholds
run: |
python -m evals.gate \
--report reports/eval.json \
--min-task-success 0.85 \
--max-hallucination 0.02 \
--min-format 0.95 \
--min-factuality 0.88
- name: Push to Langfuse
run: python -m evals.sink --backend langfuse --report reports/eval.json
- name: Alert on regression
if: failure()
uses: slackapi/slack-github-action@v1
with:
payload: |
{"text": "LLM eval regression on ${{ github.ref }} — see ${{ github.run_id }}"}Dùng LLM để chấm LLM là thứ giữ eval vận hành ở scale (hàng nghìn mẫu mỗi đêm không thể dùng human). Nhưng có 5 bias cần hiểu và chủ động kiểm soát:
Human eval đắt (con số chi phí theo nguồn bài, chưa kiểm chứng) (~$1-5 per sample với labeler chuyên môn) và chậm (24-72h), nhưng là ground truth. Khung khi nào dùng:
Công thức quyết định đơn giản: nếu sai 1 output có thể gây thiệt hại > $1000 (y tế, pháp lý, tài chính, compliance), human eval là bắt buộc; nếu < $10 (chatbot giải trí, gợi ý nội dung), LLM-as-judge đủ.
Đánh giá LLM không tồn tại độc lập. Nó kết hợp với phát hiện hallucination , guardrails ở runtime, red-teaming cho an toàn, monitoring và MLOps cho vận hành sản xuất. Với các pipeline RAG, còn có đánh giá RAG (faithfulness, context precision / recall) — chủ đề riêng vì RAG có nguồn ngữ cảnh nên cần metric khác.
Case study minh hoạ: các sự kiện và con số dưới đây không phải dữ liệu công khai của Tiki.
Bối cảnh. Tiki triển khai chatbot hỗ trợ khách hàng trên app, xử lý các intent: tra đơn, đổi/huỷ, hoàn tiền, FAQ sản phẩm. Trước deploy, team build golden set 420 mẫu từ log CS cũ, chọn Claude Sonnet làm model chính. Eval offline: task success 92%, hallucination 1.4%, format 97% . Composite 0.88 — vượt gate. Deploy tuần 1: ổn định, CSAT tương đương baseline tổng đài người.
Tuần 3 — drift. Team bật online sampling 300 conversation/ngày để calibrate judge. Phát hiện hai dịch chuyển: (i) 18% lưu lượng mới là intent "so sánh 2 SKU" và "khi nào có flash-sale lại" — intent không có trong golden; (ii) hallucination online tăng lên 6.2% (so với 1.4% offline) vì chatbot bịa ngày sale và thông số sản phẩm mà nó không có context. Golden vẫn pass 91%, nhưng user complaint tăng 3.4x.
Phản ứng. Team làm ba việc song song: (1) mở rộng golden — lấy 150 conversation prod gắn với intent mới, gán reference thủ công, đẩy lên golden v2; (2) thêm judge cho hallucination dựa trên citation check + đối chứng với catalogue sản phẩm; (3) thêm guardrail từ chối khi câu hỏi vượt context ("khi nào sale" → trả lời không có thông tin thay vì đoán). Ba tuần sau, hallucination prod về 1.8%, CSAT quay lại baseline.