Dự đoán
Đánh giá Agent cần NHIỀU chiều: tỷ lệ thành công + hiệu quả (bước, token, thời gian) + an toàn (có gây hại không) + chi phí. Giống đánh giá nhân viên: không chỉ kết quả mà cả quá trình.
Evaluating routing across providers.
AI Builder
Các phương pháp và tiêu chí để đánh giá hiệu quả, độ chính xác và an toàn của AI Agent.
Đánh giá Agent cần NHIỀU chiều: tỷ lệ thành công + hiệu quả (bước, token, thời gian) + an toàn (có gây hại không) + chi phí. Giống đánh giá nhân viên: không chỉ kết quả mà cả quá trình.
Harness tối giản: nạp golden tasks, chạy agent, thu thập trajectory, rồi gọi các judge function. Đây là bộ skeleton thường gặp trong production:
harness:
golden_tasks: s3://evals/agent/golden-v4.jsonl
runner:
agent: claude-sonnet-4.7
timeout_s: 120
max_steps: 25
judges:
- type: llm_judge
model: opus-4.7
rubric: rubric/hallucination-v2.md
- type: static
name: tool_accuracy
- type: sandbox
name: side_effect_check
reporting:
sink: bigquery://ai.evals.runs
on_regression: slack://#ai-qualityĐánh giá Agent không phải chỉ "đúng hay sai" — mà là đánh giá cả hành trình. Hai Agent cùng sửa đúng 1 bug, nhưng Agent A mất 3 bước (50 token), Agent B mất 20 bước (5000 token). Trajectory matters — đường đi quan trọng không kém đích đến. Và, như ví dụ xoá email ở trên, một agent có thể "thành công" theo nghĩa output mà vẫn gây hại theo nghĩa side-effect.
Agent 'hoàn thành' nhưng sai phạm vi → gây hại. Safety evaluation phát hiện: (1) Agent vượt scope (xoá cả email mới), (2) hành động không thể hoàn tác, (3) không xác nhận với user trước khi xoá.
Hallucination về nguồn là lỗi rất dễ đo: cho mỗi citation, một judge tự động kiểm: (1) URL có resolve không, (2) nội dung trang có chứa claim không. Thêm LLM judge thứ hai để cross-check. Đây là pattern bắt buộc cho agent làm research/reporting.
Đánh giá Agent khác biệt căn bản so với đánh giá LLM vì Agent có nhiều bước, tương tác với môi trường, và có thể gây hậu quả thực tế. Một framework đầy đủ gồm 6 chiều:
$/task, không phải $/token.Một kết quả trung bình hóa 6 chiều có thể viết gọn thành composite score. Một công thức tổng quát:
Trong đó m̂_i là giá trị đã chuẩn hóa về [0,1] (với chiều "càng thấp càng tốt" như hallucination thì dùng 1 − m), còn w_i là trọng số theo use case. Trọng số chatbot khác hẳn trọng số y khoa — đừng copy công thức từ paper mà không điều chỉnh.
from statistics import mean
class AgentEvaluator:
def __init__(self, weights=None):
self.weights = weights or {
"success": 0.30,
"tool_use": 0.15,
"hallucination": 0.20, # càng thấp càng tốt
"latency": 0.10,
"cost": 0.10,
"safety": 0.15,
}
def evaluate(self, agent, test_cases):
results = []
for test in test_cases:
trajectory = agent.run(test.task)
results.append({
"success": test.check_success(trajectory.final_output),
"steps": len(trajectory.steps),
"tokens": trajectory.total_tokens,
"tool_accuracy": self.check_tool_usage(trajectory),
"hallucinations": self.check_hallucinations(trajectory),
"latency_ms": trajectory.latency_ms,
"cost_usd": trajectory.total_cost,
"safety_violations": self.check_safety(trajectory),
})
return self._aggregate(results)
def _aggregate(self, results):
agg = {
"success_rate": mean(r["success"] for r in results),
"tool_accuracy": mean(r["tool_accuracy"] for r in results),
"hallucination_rate": mean(r["hallucinations"] for r in results),
"p95_latency_ms": percentile([r["latency_ms"] for r in results], 95),
"cost_per_task": mean(r["cost_usd"] for r in results),
"safety_score": 1 - mean(r["safety_violations"] for r in results),
}
# Composite score — tuyến tính có trọng số
norm = {
"success": agg["success_rate"],
"tool_use": agg["tool_accuracy"],
"hallucination": 1 - agg["hallucination_rate"],
"latency": clamp(1 - agg["p95_latency_ms"] / 60000, 0, 1),
"cost": clamp(1 - agg["cost_per_task"] / 1.0, 0, 1),
"safety": agg["safety_score"],
}
agg["composite"] = sum(self.weights[k] * norm[k] for k in norm)
return aggTrong pipeline thực tế, harness còn kết nối với CI. Một ví dụ cấu hình tối giản:
name: Agent Eval (nightly)
on:
schedule:
- cron: "0 3 * * *" # 10h sáng VN
workflow_dispatch: {}
jobs:
golden-set:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4
- name: Run golden tasks
run: python -m evals.run --suite golden --model claude-sonnet-4.7
- name: Gate on composite score
run: |
python -m evals.gate \
--min-success 0.85 \
--max-hallucination 0.02 \
--min-safety 0.98
- name: Upload report
uses: actions/upload-artifact@v4
with:
name: eval-report
path: reports/eval_*.jsonMột team agent trưởng thành chạy CẢ HAI song song, với vai trò khác nhau:
Tỷ lệ tham khảo: 70% thời gian build eval dành cho offline (CI gate, regression), 30% dành cho online (shadow, feedback). Nhưng tín hiệu production luôn thắng khi hai nguồn mâu thuẫn — offline chỉ là mô phỏng.
Dùng một LLM khác để chấm output là cách phổ biến và scale tốt — nhưng đầy bẫy:
Muốn kết hợp đánh giá với lớp bảo vệ runtime? Xem Guardrails — chúng là "immune system" của agent production, bổ trợ cho eval harness.
Case study minh hoạ: các sự kiện và con số dưới đây là ví dụ giả định.
Bối cảnh. Một sàn thương mại điện tử triển khai agent trả lời khách: tra đơn, đổi địa chỉ, hoàn tiền. Tuần đầu pass rate trên golden set: 91%. Ba tuần sau, pass rate golden vẫn 91%, nhưng CSAT (điểm hài lòng của khách thật) tụt 12 điểm.
Điều tra. Team bật online eval (shadow traffic + user feedback sampling) và thấy:
Bài học. Golden set nếu không đại diện cho phân phối thật sẽ tạo cảm giác an toàn giả. Team cập nhật golden mỗi 2 tuần từ 200 conversation sampling + thêm judge hallucination ở prod. CSAT hồi phục sau 5 tuần.