AI Builder
Đánh giá & Quan sát hệ thống AI
Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.Offline/online LLM eval, LLM-as-judge RAG faithfulness / answer-relevance / context-relevance Agent eval, tracing, token cost, canary, prompt-injection defense
Format
Guided module
Duration
14h
Lessons
7
What you will practice
- Offline/online LLM eval, LLM-as-judge
- RAG faithfulness / answer-relevance / context-relevance
- Agent eval, tracing, token cost, canary, prompt-injection defense
Lesson order
7 lessonsĐánh giá LLM — Đo chất lượng trước và sau khi deploy
Khung đánh giá LLM toàn diện: offline (golden set, LLM-as-judge, human eval) + online (shadow traffic, A/B, drift detection) — điều kiện tiên quyết để đưa LLM vào production một cách có trách nhiệm.
Đánh giá RAG — Bộ ba Faithfulness, Answer & Context Relevance
Đo lường hệ thống RAG theo ba trụ cột: độ trung thành với nguồn (faithfulness), độ liên quan câu trả lời (answer relevance), độ liên quan ngữ cảnh truy xuất (context relevance) — và cách chúng sụp đổ khác nhau khi retrieval, prompting, hoặc generation bị lỗi.
Đánh giá Agent — Đo lường AI tự chủ
Các phương pháp và tiêu chí để đánh giá hiệu quả, độ chính xác và an toàn của AI Agent.
Quan sát hệ thống AI — Trace, Log, Metric cho LLM app
Đưa hệ thống LLM ra production cần quan sát được từng bước: distributed tracing đa tầng (retrieval + LLM + tool), metric p50/p95, structured logs có PII-safe redaction, và cảnh báo khi drift. Khung observability AI-native khác biệt với APM truyền thống như thế nào.
Kinh tế token — Chi phí, độ trễ và hiệu quả
Đơn vị tiền tệ của LLM production là token. Biết cách đo $/task, phân rã latency (TTFT + decode + retrieval + tool), tính break-even với human baseline, và thấy tức thì tác dụng của prompt caching / model cascade / context compression.
Canary & Shadow Rollout — Triển khai LLM an toàn
Đổi model LLM trong production không thể 'big bang'. Học cách triển khai gradient: shadow traffic (so sánh không ảnh hưởng user) → 1% canary → 10% → 50% → 100%, với gate theo eval, user-feedback, và cost; cùng rollback tự động khi metric vi phạm SLO.
Phòng thủ Prompt Injection — Lớp bảo vệ nhiều tầng
Prompt injection là lỗ hổng số 1 của ứng dụng LLM (OWASP LLM01). Bài học xây lớp phòng thủ nhiều tầng: input validation, instruction hierarchy, output filter, tool allowlist, và LLM-judge — mỗi lớp bắt một loại payload khác nhau.