ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← AI Builder

AI Builder

Đánh giá & Quan sát hệ thống AI

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Offline/online LLM eval, LLM-as-judge RAG faithfulness / answer-relevance / context-relevance Agent eval, tracing, token cost, canary, prompt-injection defense

14h7 lessonsAI Builder

Format

Guided module

Duration

14h

Lessons

7

What you will practice

  • Offline/online LLM eval, LLM-as-judge
  • RAG faithfulness / answer-relevance / context-relevance
  • Agent eval, tracing, token cost, canary, prompt-injection defense

Lesson order

7 lessons
1

Đánh giá LLM — Đo chất lượng trước và sau khi deploy

Khung đánh giá LLM toàn diện: offline (golden set, LLM-as-judge, human eval) + online (shadow traffic, A/B, drift detection) — điều kiện tiên quyết để đưa LLM vào production một cách có trách nhiệm.

lesson120 min
2

Đánh giá RAG — Bộ ba Faithfulness, Answer & Context Relevance

Đo lường hệ thống RAG theo ba trụ cột: độ trung thành với nguồn (faithfulness), độ liên quan câu trả lời (answer relevance), độ liên quan ngữ cảnh truy xuất (context relevance) — và cách chúng sụp đổ khác nhau khi retrieval, prompting, hoặc generation bị lỗi.

lesson120 min
3

Đánh giá Agent — Đo lường AI tự chủ

Các phương pháp và tiêu chí để đánh giá hiệu quả, độ chính xác và an toàn của AI Agent.

lesson120 min
4

Quan sát hệ thống AI — Trace, Log, Metric cho LLM app

Đưa hệ thống LLM ra production cần quan sát được từng bước: distributed tracing đa tầng (retrieval + LLM + tool), metric p50/p95, structured logs có PII-safe redaction, và cảnh báo khi drift. Khung observability AI-native khác biệt với APM truyền thống như thế nào.

lesson120 min
5

Kinh tế token — Chi phí, độ trễ và hiệu quả

Đơn vị tiền tệ của LLM production là token. Biết cách đo $/task, phân rã latency (TTFT + decode + retrieval + tool), tính break-even với human baseline, và thấy tức thì tác dụng của prompt caching / model cascade / context compression.

lesson120 min
6

Canary & Shadow Rollout — Triển khai LLM an toàn

Đổi model LLM trong production không thể 'big bang'. Học cách triển khai gradient: shadow traffic (so sánh không ảnh hưởng user) → 1% canary → 10% → 50% → 100%, với gate theo eval, user-feedback, và cost; cùng rollback tự động khi metric vi phạm SLO.

lesson120 min
7

Phòng thủ Prompt Injection — Lớp bảo vệ nhiều tầng

Prompt injection là lỗ hổng số 1 của ứng dụng LLM (OWASP LLM01). Bài học xây lớp phòng thủ nhiều tầng: input validation, instruction hierarchy, output filter, tool allowlist, và LLM-judge — mỗi lớp bắt một loại payload khác nhau.

lesson120 min