ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← Đánh giá & Quan sát hệ thống AI

AI Builder

Đánh giá LLM — Đo chất lượng trước và sau khi deploy

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Khung đánh giá LLM toàn diện: offline (golden set, LLM-as-judge, human eval) + online (shadow traffic, A/B, drift detection) — điều kiện tiên quyết để đưa LLM vào production một cách có trách nhiệm.

lesson120 minĐánh giá & Quan sát hệ thống AIAI Engineer

Dự đoán

Bạn chọn một LLM vì nó đứng #1 HumanEval (offline benchmark nổi tiếng). Deploy ra prod, CSAT của khách hàng tụt 40% so với model cũ. Lý do hợp lý nhất là gì?

HumanEval đo code completion trên bài toán học thuật. CSAT đo trải nghiệm trò chuyện của khách hàng. Hai phân phối khác nhau hoàn toàn. 'Một số duy nhất để rank LLM' là ảo tưởng — phải nghĩ theo MA TRẬN metric × regime × use case.

Khoảnh khắc aha

Trải nghiệm bạn vừa làm chốt lại điều then chốt: không có một số duy nhất đánh giá LLM . Thay vào đó là một ma trận metric × regime × use case, và trọng số là thứ ép business phải ra quyết định — không phải thuật toán. Khi bạn đổi trọng số, bạn đang nói với tổ chức ưu tiên kinh doanh của chúng ta là gì. Đó cũng là lý do tại sao chọn LLM khó hơn chọn thư viện open-source.

Bốn lưu ý quan trọng

Thử thách áp dụng

Đã có đủ khung, giờ kiểm tra xem bạn có thể ra quyết định ngoài lý thuyết không. Hai tình huống sau đều xảy ra thường xuyên trong các team AI năm 2026:

Model A đứng #1 overall (composite 0.82) trên golden set. Nhưng khi slice theo segment 'khách hàng VIP' (top 5% revenue), A đứng #3; model C đứng #1 trên segment này. Bạn quyết định thế nào?

Model A #1 overall nhưng kém ở segment VIP. Bạn quyết định thế nào?

Aggregate che mất phân phối. Revenue concentration thường 80/20, nên một model #3 ở segment 5% top revenue có thể gây hại lớn hơn lợi ích của việc #1 overall. Model routing hoặc segment-specific prompt là giải pháp tiêu chuẩn — xem Chatbot Arena slice theo category (code, writing, reasoning) là lấy từ đúng nguyên tắc này.

Golden pass 95%. Nhưng user complaint tăng 3x trong 10 ngày. Bạn bật công cụ đo nào TRƯỚC TIÊN để điều tra?

Tình huống này rất gần với case 'CSAT tụt khi golden vẫn pass'. Khả năng cao: distribution drift hoặc golden không cover intent mới. Online sampling là công cụ số 1. Sau khi xác định có drift, mới quyết định bổ sung golden, retrain judge, hay rollback model.

Ba trụ cột

Từ trực giác về ma trận metric, ta có thể hệ thống hoá thành một khung lý thuyết. Đánh giá LLM là quy trình đo chất lượng đầu ra của một mô hình ngôn ngữ trên một tập task, theo nhiều chiều, ở nhiều giai đoạn (offline → online → post-deployment). Nó khác cơ bản với đánh giá Agent vì LLM chỉ cho một output, còn Agent có nhiều bước + tương tác môi trường.

Có ba trụ cột cần nắm vững:

Bốn loại eval theo hình thức chấm

  • Reference-based: có đáp án chuẩn; so sánh output với reference bằng BLEU, ROUGE, exact match, F1, code execution pass/fail. Phù hợp với dịch máy, tóm tắt có reference, code generation.
  • Reference-free: không có đáp án chuẩn; đo thuộc tính intrinsic (coherence, toxicity, format). Dùng classifier model hoặc regex check. Phù hợp creative writing, open-ended Q&A.
  • Pairwise (preference): cho judge (người hoặc LLM) chọn A vs B. Dễ hơn cho chấm 0-10. Tổng hợp bằng Elo hoặc Bradley-Terry. Chatbot Arena, LMSYS leaderboard hoạt động theo cơ chế này.
  • Rubric-based: judge (thường là LLM-as-judge) chấm theo checklist rõ ràng: có citation không? format đúng không? không vượt scope? Rubric cụ thể giảm noise gấp 3-5 lần so với "chấm 1-10 tổng thể".

Offline và Online

Offline chạy trên dataset cố định (golden set, benchmark công khai), lặp được, rẻ, làm gate cho CI. Online đo trên traffic thật qua shadow traffic (chạy song song không ảnh hưởng user), A/B test, hoặc interleaving. Team chín luôn có cả hai — vì offline pass không chứng minh prod ổn (bạn đã thấy ở viz). Ngoài ra, một golden set nhỏ 50-200 mẫu nên chạy hàng ngày như canary, alert khi pass rate sụt > 3%.

Gate và Reporting

Eval không gắn với merge flow sẽ bị bỏ qua sau 2 tháng. Ngưỡng cứng trong CI (success ≥ 0.85, hallucination ≤ 0.02, format ≥ 0.95) là cách biến eval từ "decor" thành ràng buộc. Kết quả eval nên đổ về kho có thể slice: BigQuery (SQL tự do), MLflow (theo dõi thí nghiệm), hoặc Langfuse (trace-centric, tích hợp sẵn cho app LLM). Hai tín hiệu cần nhìn mỗi ngày: pass rate trên golden, và delta so với tuần trước.

Công thức tổng hợp

Composite score là cách gói N metric thành một số duy nhất có thể rank:

S=∑i=1Nwi⋅m^i,∑i=1Nwi=1S = \sum_{i=1}^{N} w_i \cdot \hat{m}_i, \quad \sum_{i=1}^{N} w_i = 1

Trong đó m̂_i ∈ [0,1] là giá trị chuẩn hoá (với chiều "càng thấp càng tốt" như hallucination hay cost thì dùng 1 − m), còn w_i là trọng số theo use case. Tổng trọng số phải bằng 1 — nếu không, điểm composite sẽ phụ thuộc vào quy mô trọng số thay vì vào giá trị thật sự của metric.

Để tổng hợp nhiều phép so sánh cặp (A thắng B, B thắng C…) thành một rating số, dùng công thức Elo:

EA=11+10(RB−RA)/400E_A = \frac{1}{1 + 10^{(R_B - R_A)/400}}

E_A là xác suất A thắng khi rating hai bên là R_A, R_B. Sau mỗi trận,

RA←RA+K (SA−EA)R_A \leftarrow R_A + K\,(S_A - E_A)

với S_A ∈ {0, 0.5, 1}. Đây là công thức Chatbot Arena dùng để rank hàng trăm mô hình từ hàng triệu vote — và là cách đúng để tổng hợp pairwise preference.

eval_harness.py — khung eval tối giản

from dataclasses import dataclass, field
from typing import Callable
from statistics import mean

@dataclass
class EvalResult:
    metric: str
    value: float
    higher_is_better: bool

@dataclass
class EvalHarness:
    golden_set: list          # [{"prompt": ..., "reference": ..., "tags": [...]}, ...]
    judges: dict[str, Callable]  # name -> judge(output, sample) -> float
    weights: dict[str, float] = field(default_factory=lambda: {
        "task_success": 0.25,
        "win_rate": 0.15,
        "hallucination": 0.20,   # càng thấp càng tốt
        "factuality": 0.15,
        "format": 0.10,
        "refusal": 0.05,         # càng thấp càng tốt
        "cost": 0.10,            # càng thấp càng tốt
    })
    gates: dict[str, float] = field(default_factory=lambda: {
        "task_success": 0.85,
        "hallucination": 0.02,
        "format": 0.95,
    })

    def run(self, model) -> dict:
        """Chạy model trên toàn bộ golden set, thu tất cả score."""
        per_sample = []
        for sample in self.golden_set:
            output = model.generate(sample["prompt"])
            scores = {name: j(output, sample) for name, j in self.judges.items()}
            scores["cost"] = model.last_cost_usd
            per_sample.append(scores)
        return self.aggregate(per_sample)

    def aggregate(self, per_sample: list[dict]) -> dict:
        """Gộp về metric tổng, rồi tính composite."""
        metrics = {k: mean(s[k] for s in per_sample) for k in per_sample[0].keys()}
        # Chuẩn hoá về [0, 1] với logic ngược chiều cho lower-is-better
        norm = {
            "task_success": metrics["task_success"],
            "win_rate": metrics.get("win_rate", 0.5),
            "hallucination": 1 - metrics["hallucination"],
            "factuality": metrics["factuality"],
            "format": metrics["format"],
            "refusal": 1 - metrics["refusal"],
            "cost": max(0, 1 - metrics["cost"] / 0.05),
        }
        composite = sum(self.weights[k] * norm[k] for k in norm)
        return {"metrics": metrics, "composite": composite}

    def gate(self, result: dict) -> tuple[bool, list[str]]:
        """Trả về (pass?, danh sách gate fail)."""
        failures = []
        for metric, threshold in self.gates.items():
            val = result["metrics"][metric]
            ok = (val >= threshold) if metric not in {"hallucination", "refusal", "cost"} \
                 else (val <= threshold)
            if not ok:
                failures.append(f"{metric}={val:.3f} vs threshold {threshold}")
        return (len(failures) == 0, failures)

Harness ở trên là lõi; phần còn lại là integration. Chạy nightly bằng GitHub Actions, gate pre-merge trên PR, và đổ kết quả về BigQuery hoặc Langfuse để phân tích lịch sử:

.github/workflows/llm-eval.yml

name: LLM Eval (nightly + pre-merge)

on:
  schedule:
    - cron: "0 18 * * *"    # 01h sáng VN — chạy sau deploy cuối ngày
  pull_request:
    paths:
      - "prompts/**"
      - "models.yaml"
      - "src/chain/**"

jobs:
  golden:
    runs-on: ubuntu-latest
    timeout-minutes: 40
    steps:
      - uses: actions/checkout@v4

      - name: Run golden eval (500 mẫu, 2 judge)
        env:
          ANTHROPIC_API_KEY: ${{ secrets.ANTHROPIC_API_KEY }}
          OPENAI_API_KEY: ${{ secrets.OPENAI_API_KEY }}
        run: |
          python -m evals.run \
            --suite golden/v4 \
            --model-under-test $MODEL \
            --judges hallucination_v3 format_v2 factuality_v1 \
            --output reports/eval.json

      - name: Gate on thresholds
        run: |
          python -m evals.gate \
            --report reports/eval.json \
            --min-task-success 0.85 \
            --max-hallucination 0.02 \
            --min-format 0.95 \
            --min-factuality 0.88

      - name: Push to Langfuse
        run: python -m evals.sink --backend langfuse --report reports/eval.json

      - name: Alert on regression
        if: failure()
        uses: slackapi/slack-github-action@v1
        with:
          payload: |
            {"text": "LLM eval regression on ${{ github.ref }} — see ${{ github.run_id }}"}

LLM-as-judge: bias và calibration

Dùng LLM để chấm LLM là thứ giữ eval vận hành ở scale (hàng nghìn mẫu mỗi đêm không thể dùng human). Nhưng có 5 bias cần hiểu và chủ động kiểm soát:

  1. Self-preference bias: GPT-4 chấm cao output GPT-4 hơn output Claude cho cùng chất lượng. Cách giảm: dùng 2 judge khác họ (vd Claude + Gemini) lấy trung bình, hoặc dùng judge open-source không liên quan vendor.
  2. Positional bias: khi so sánh A vs B, judge ưu tiên đáp án đầu tiên ~55-58% (paper MT-Bench báo cáo). Cách giảm: chạy hai chiều (A-B và B-A), chỉ tính vote khi cả hai chiều nhất quán.
  3. Verbose bias: câu trả lời dài được chấm cao hơn, kể cả khi dài vô nghĩa. Cách giảm: ràng buộc độ dài trong rubric ("penalty nếu > 400 token mà không có lý do").
  4. Rubric drift: cùng rubric, judge khác phiên bản chấm khác nhau. Cách giảm: pin version model judge, log version vào mỗi record.
  5. Calibration với human: mỗi tuần 30-50 mẫu human chấm, so sánh với judge. Cohen's kappa nên > 0.6. Nếu tụt, rewrite rubric hoặc đổi model judge. Đây là vòng feedback BẮT BUỘC trong team nghiêm túc.

Khi nào cần human eval

Human eval đắt (con số chi phí theo nguồn bài, chưa kiểm chứng) (~$1-5 per sample với labeler chuyên môn) và chậm (24-72h), nhưng là ground truth. Khung khi nào dùng:

  • Calibration (50 mẫu/tuần): cần thiết với bất kỳ team nào dùng LLM-as-judge ở scale. Không skip được.
  • Nhạy cảm / mơ hồ: y tế, pháp lý, tư vấn tài chính. LLM-as-judge không đủ tin để gate deployment ở domain có rủi ro.
  • Launch gate: trước release lớn, chạy human eval 200-500 mẫu để có confidence. Thà chậm 3 ngày còn hơn rollback trong tuần đầu.
  • Red-team / adversarial: xem red-teaming — chỉ con người mới sáng tạo đủ để phá vỡ mô hình theo những cách không nằm trong golden set.

Công thức quyết định đơn giản: nếu sai 1 output có thể gây thiệt hại > $1000 (y tế, pháp lý, tài chính, compliance), human eval là bắt buộc; nếu < $10 (chatbot giải trí, gợi ý nội dung), LLM-as-judge đủ.

Đánh giá LLM không tồn tại độc lập. Nó kết hợp với phát hiện hallucination , guardrails ở runtime, red-teaming cho an toàn, monitoring và MLOps cho vận hành sản xuất. Với các pipeline RAG, còn có đánh giá RAG (faithfulness, context precision / recall) — chủ đề riêng vì RAG có nguồn ngữ cảnh nên cần metric khác.

Case study minh hoạ: chatbot hỗ trợ

Case study minh hoạ: các sự kiện và con số dưới đây không phải dữ liệu công khai của Tiki.

Bối cảnh. Tiki triển khai chatbot hỗ trợ khách hàng trên app, xử lý các intent: tra đơn, đổi/huỷ, hoàn tiền, FAQ sản phẩm. Trước deploy, team build golden set 420 mẫu từ log CS cũ, chọn Claude Sonnet làm model chính. Eval offline: task success 92%, hallucination 1.4%, format 97% . Composite 0.88 — vượt gate. Deploy tuần 1: ổn định, CSAT tương đương baseline tổng đài người.

Tuần 3 — drift. Team bật online sampling 300 conversation/ngày để calibrate judge. Phát hiện hai dịch chuyển: (i) 18% lưu lượng mới là intent "so sánh 2 SKU" và "khi nào có flash-sale lại" — intent không có trong golden; (ii) hallucination online tăng lên 6.2% (so với 1.4% offline) vì chatbot bịa ngày sale và thông số sản phẩm mà nó không có context. Golden vẫn pass 91%, nhưng user complaint tăng 3.4x.

Phản ứng. Team làm ba việc song song: (1) mở rộng golden — lấy 150 conversation prod gắn với intent mới, gán reference thủ công, đẩy lên golden v2; (2) thêm judge cho hallucination dựa trên citation check + đối chứng với catalogue sản phẩm; (3) thêm guardrail từ chối khi câu hỏi vượt context ("khi nào sale" → trả lời không có thông tin thay vì đoán). Ba tuần sau, hallucination prod về 1.8%, CSAT quay lại baseline.

  • Bài học 1. Offline pass không bảo chứng online — phải bật online sampling TỪ NGÀY 1, không đợi có vấn đề.
  • Bài học 2. Golden set cần chu kỳ cập nhật cố định (Tiki giờ làm 2 tuần/lần), với quy trình sampling → cluster intent → gán reference.
  • Bài học 3. Eval là một hệ thống sống, gắn chặt với guardrails và monitoring. Phát hiện drift mà không có lớp fallback (refuse, clarify) = eval thành công nhưng user vẫn khổ.

Tóm tắt

  • Đánh giá LLM là MA TRẬN metric × regime × use case — không có một con số duy nhất nào đủ để xếp hạng mô hình cho production.
  • Luôn chạy CẢ offline (gate CI) và online (shadow traffic, A/B) — offline pass không chứng minh prod ổn; Tiki case study là ví dụ kinh điển.
  • Golden set phải được cập nhật định kỳ (2-4 tuần/lần) qua vòng sampling → cluster intent → gán reference — nếu không, sẽ stale và tạo cảm giác an toàn giả.
  • LLM-as-judge scale tốt nhưng có self-preference / positional / verbose bias — calibrate 30-50 mẫu/tuần bằng human eval để giữ Cohen's kappa > 0.6.
  • Composite score S = Σ w_i · m̂_i là cách ép business chọn trọng số — viết weights ra là một bài tập alignment với stakeholder, không phải tối ưu kỹ thuật.
  • Gate trong CI (GitHub Actions + BigQuery/MLflow/Langfuse reporting) biến eval từ 'decor' thành ràng buộc cứng — không gate, eval mất tác dụng sau 2 tháng.

Continue the module

Lesson 1 of 7