ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← Đánh giá & Quan sát hệ thống AI

AI Builder

Đánh giá Agent — Đo lường AI tự chủ

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Các phương pháp và tiêu chí để đánh giá hiệu quả, độ chính xác và an toàn của AI Agent.

lesson120 minĐánh giá & Quan sát hệ thống AIAI Engineer

Dự đoán

Bạn xây Agent tự sửa bug trong code. Agent sửa được 8/10 bug. Điều này có đủ để đánh giá Agent tốt không?

Đánh giá Agent cần NHIỀU chiều: tỷ lệ thành công + hiệu quả (bước, token, thời gian) + an toàn (có gây hại không) + chi phí. Giống đánh giá nhân viên: không chỉ kết quả mà cả quá trình.

Harness mô phỏng

Harness tối giản: nạp golden tasks, chạy agent, thu thập trajectory, rồi gọi các judge function. Đây là bộ skeleton thường gặp trong production:

Example

harness:
  golden_tasks: s3://evals/agent/golden-v4.jsonl
  runner:
    agent: claude-sonnet-4.7
    timeout_s: 120
    max_steps: 25
  judges:
    - type: llm_judge
      model: opus-4.7
      rubric: rubric/hallucination-v2.md
    - type: static
      name: tool_accuracy
    - type: sandbox
      name: side_effect_check
  reporting:
    sink: bigquery://ai.evals.runs
    on_regression: slack://#ai-quality

Khoảnh khắc aha

Đánh giá Agent không phải chỉ "đúng hay sai" — mà là đánh giá cả hành trình. Hai Agent cùng sửa đúng 1 bug, nhưng Agent A mất 3 bước (50 token), Agent B mất 20 bước (5000 token). Trajectory matters — đường đi quan trọng không kém đích đến. Và, như ví dụ xoá email ở trên, một agent có thể "thành công" theo nghĩa output mà vẫn gây hại theo nghĩa side-effect.

Bốn lưu ý quan trọng

Thử thách 1

Agent trợ lý email được yêu cầu: 'Xoá email cũ hơn 30 ngày'. Agent xoá TOÀN BỘ email. Chiều đánh giá nào phát hiện lỗi này?

Agent 'hoàn thành' nhưng sai phạm vi → gây hại. Safety evaluation phát hiện: (1) Agent vượt scope (xoá cả email mới), (2) hành động không thể hoàn tác, (3) không xác nhận với user trước khi xoá.

Thử thách 2

Agent nghiên cứu đối thủ trả về bảng so sánh đẹp, nhưng 2/7 citation là URL bịa. Offline eval pass 100%. Làm sao để bắt được lỗi này trong eval harness?

Hallucination về nguồn là lỗi rất dễ đo: cho mỗi citation, một judge tự động kiểm: (1) URL có resolve không, (2) nội dung trang có chứa claim không. Thêm LLM judge thứ hai để cross-check. Đây là pattern bắt buộc cho agent làm research/reporting.

Lý thuyết

Đánh giá Agent khác biệt căn bản so với đánh giá LLM vì Agent có nhiều bước, tương tác với môi trường, và có thể gây hậu quả thực tế. Một framework đầy đủ gồm 6 chiều:

  • Task Success Rate: Agent giải quyết được % nhiệm vụ theo định nghĩa xong việc. Metric cơ bản nhất nhưng một mình không đủ.
  • Tool Use Accuracy: Chọn đúng tool, đúng param, không gọi thừa. Tool sai → kết quả sai. Xem function calling để hiểu cơ chế.
  • Hallucination Rate: Tỷ lệ phát biểu hoặc hành động dựa trên thông tin bịa. Ví dụ: trích dẫn sai, gọi API không tồn tại, bịa schema bảng.
  • Latency: p50 / p95 thời gian hoàn thành. Với agent đồng bộ trong UX thì p95 quan trọng hơn p50.
  • Cost: token + API fee + tool cost (vd SQL scan). Cần tính theo đơn vị $/task, không phải $/token.
  • Safety: không vượt scope, không thực hiện hành động không thể hoàn tác khi chưa confirm, tuân thủ guardrails .

Composite score

Một kết quả trung bình hóa 6 chiều có thể viết gọn thành composite score. Một công thức tổng quát:

S=∑i=16wi⋅mi^,∑wi=1S = \sum_{i=1}^{6} w_i \cdot \hat{m_i}, \quad \sum w_i = 1

Trong đó m̂_i là giá trị đã chuẩn hóa về [0,1] (với chiều "càng thấp càng tốt" như hallucination thì dùng 1 − m), còn w_i là trọng số theo use case. Trọng số chatbot khác hẳn trọng số y khoa — đừng copy công thức từ paper mà không điều chỉnh.

Harness và CI

agent_evaluation.py — harness tối giản

from statistics import mean

class AgentEvaluator:
    def __init__(self, weights=None):
        self.weights = weights or {
            "success": 0.30,
            "tool_use": 0.15,
            "hallucination": 0.20,  # càng thấp càng tốt
            "latency": 0.10,
            "cost": 0.10,
            "safety": 0.15,
        }

    def evaluate(self, agent, test_cases):
        results = []
        for test in test_cases:
            trajectory = agent.run(test.task)
            results.append({
                "success": test.check_success(trajectory.final_output),
                "steps": len(trajectory.steps),
                "tokens": trajectory.total_tokens,
                "tool_accuracy": self.check_tool_usage(trajectory),
                "hallucinations": self.check_hallucinations(trajectory),
                "latency_ms": trajectory.latency_ms,
                "cost_usd": trajectory.total_cost,
                "safety_violations": self.check_safety(trajectory),
            })
        return self._aggregate(results)

    def _aggregate(self, results):
        agg = {
            "success_rate":   mean(r["success"] for r in results),
            "tool_accuracy":  mean(r["tool_accuracy"] for r in results),
            "hallucination_rate": mean(r["hallucinations"] for r in results),
            "p95_latency_ms": percentile([r["latency_ms"] for r in results], 95),
            "cost_per_task":  mean(r["cost_usd"] for r in results),
            "safety_score":   1 - mean(r["safety_violations"] for r in results),
        }
        # Composite score — tuyến tính có trọng số
        norm = {
            "success": agg["success_rate"],
            "tool_use": agg["tool_accuracy"],
            "hallucination": 1 - agg["hallucination_rate"],
            "latency": clamp(1 - agg["p95_latency_ms"] / 60000, 0, 1),
            "cost": clamp(1 - agg["cost_per_task"] / 1.0, 0, 1),
            "safety": agg["safety_score"],
        }
        agg["composite"] = sum(self.weights[k] * norm[k] for k in norm)
        return agg

Trong pipeline thực tế, harness còn kết nối với CI. Một ví dụ cấu hình tối giản:

.github/workflows/agent-eval.yml

name: Agent Eval (nightly)

on:
  schedule:
    - cron: "0 3 * * *"   # 10h sáng VN
  workflow_dispatch: {}

jobs:
  golden-set:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - name: Run golden tasks
        run: python -m evals.run --suite golden --model claude-sonnet-4.7
      - name: Gate on composite score
        run: |
          python -m evals.gate \
            --min-success 0.85 \
            --max-hallucination 0.02 \
            --min-safety 0.98
      - name: Upload report
        uses: actions/upload-artifact@v4
        with:
          name: eval-report
          path: reports/eval_*.json

Offline vs online eval

Một team agent trưởng thành chạy CẢ HAI song song, với vai trò khác nhau:

  • Offline eval (dataset cố định): gate cho CI, phát hiện regression trước khi deploy, so sánh A/B giữa các phiên bản model/prompt. Rẻ, lặp được, kiểm soát biến.
  • Online eval (production traffic): đo phân phối thật, bắt drift, thu feedback người dùng. Dùng shadow traffic (chạy song song không ảnh hưởng user), A/B test, hoặc interleaving.
  • Golden set hàng ngày: 50-200 task chọn kỹ, đại diện cho use case quan trọng. Chạy hằng ngày, alert nếu sụt > 3% pass rate.

Tỷ lệ tham khảo: 70% thời gian build eval dành cho offline (CI gate, regression), 30% dành cho online (shadow, feedback). Nhưng tín hiệu production luôn thắng khi hai nguồn mâu thuẫn — offline chỉ là mô phỏng.

LLM-as-judge: bias và calibration

Dùng một LLM khác để chấm output là cách phổ biến và scale tốt — nhưng đầy bẫy:

  1. Cùng họ bias: judge GPT-4 hay chấm output GPT-4 cao hơn output Claude, và ngược lại. Cách giảm: dùng 2 judge khác họ, lấy trung bình.
  2. Positional bias: khi so sánh A vs B, judge hay chọn cái đầu tiên. Cách giảm: shuffle thứ tự, hoặc hỏi cả hai chiều rồi lấy đồng thuận.
  3. Rubric mơ hồ: "code có đẹp không?" cho kết quả không ổn định. Viết rubric bằng checklist cụ thể: có type hints? có test? tên biến > 2 ký tự?
  4. Calibration bằng human: mỗi tuần chọn 30-50 mẫu, cho con người chấm, so sánh với judge. Nếu agreement < 0.7, chỉnh lại rubric.

Muốn kết hợp đánh giá với lớp bảo vệ runtime? Xem Guardrails — chúng là "immune system" của agent production, bổ trợ cho eval harness.

Case study minh hoạ: agent bán lẻ

Case study minh hoạ: các sự kiện và con số dưới đây là ví dụ giả định.

Bối cảnh. Một sàn thương mại điện tử triển khai agent trả lời khách: tra đơn, đổi địa chỉ, hoàn tiền. Tuần đầu pass rate trên golden set: 91%. Ba tuần sau, pass rate golden vẫn 91%, nhưng CSAT (điểm hài lòng của khách thật) tụt 12 điểm.

Điều tra. Team bật online eval (shadow traffic + user feedback sampling) và thấy:

  • Agent xử lý các intent trong golden set (tra đơn, đổi địa chỉ) vẫn tốt.
  • Nhưng traffic thật xuất hiện intent mới nhiều hơn: "hỏi size/màu", "so sánh 2 SKU", "khi nào sale tiếp". Agent bịa câu trả lời.
  • Hallucination rate trên production: 7.8% — trong khi golden chỉ 0.9%.

Bài học. Golden set nếu không đại diện cho phân phối thật sẽ tạo cảm giác an toàn giả. Team cập nhật golden mỗi 2 tuần từ 200 conversation sampling + thêm judge hallucination ở prod. CSAT hồi phục sau 5 tuần.

Tóm tắt

  • 6 chiều: Task Success, Tool Use, Hallucination, Latency, Cost, Safety — cần đánh giá TẤT CẢ, không chỉ một.
  • Đánh giá trajectory (hành trình) không chỉ output — 2 Agent cùng đáp án nhưng đường đi khác nhau có rủi ro khác nhau.
  • Safety là chiều quan trọng nhất cho production: hành động không thể hoàn tác + vượt scope = nguy hiểm.
  • Benchmarks: SWE-bench (code), WebArena (web), GAIA (tổng quát), τ-bench (CS). Không cái nào đủ — chạy ít nhất 2.
  • Kết hợp offline eval (CI gate) + online eval (drift, real traffic) + golden set hàng ngày (regression).
  • LLM-as-judge scale tốt nhưng có bias — calibrate định kỳ bằng human eval để giữ tín hiệu đáng tin.

Continue the module

Lesson 3 of 7