ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← Đánh giá & Quan sát hệ thống AI

AI Builder

Đánh giá RAG — Bộ ba Faithfulness, Answer & Context Relevance

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Đo lường hệ thống RAG theo ba trụ cột: độ trung thành với nguồn (faithfulness), độ liên quan câu trả lời (answer relevance), độ liên quan ngữ cảnh truy xuất (context relevance) — và cách chúng sụp đổ khác nhau khi retrieval, prompting, hoặc generation bị lỗi.

lesson120 minĐánh giá & Quan sát hệ thống AIAI Engineer

Dự đoán

Bạn build RAG trên Confluence nội bộ. Chatbot trả lời rất mượt, nguồn có đủ. Nhưng người dùng report 'sai'. Lỗi có thể đến từ đâu nhất?

RAG là 2 hệ thống nối tiếp (retriever + generator) + 1 lớp prompt keo. Mỗi khâu gây ra signature lỗi khác nhau. Nếu chỉ đo 'answer quality' tổng thể, bạn KHÔNG biết phải sửa đâu. Bộ ba metric hôm nay chính là công cụ chẩn đoán.

Cái nguy hiểm của RAG hỏng là nó nhìn rất giống đang chạy đúng — câu trả lời mượt, có kèm nguồn, đúng tông. Chỉ khi tách thành ba đỉnh đo riêng, bạn mới bắt được khâu đang âm thầm phản bội.

Ba đỉnh và khâu hỏng

Bảng chẩn đoán tóm tắt:

Đỉnh đỏKhâu hỏngFix
Context RelRetrieval / chunking / embeddingReranker, embedding chuyên domain/ngôn ngữ, chunk size, hybrid BM25 + vector
FaithfulnessGeneration bịa (hallucination)Prompt chặt ("only use CONTEXT"), cite-required, đổi model — xem hallucination
Answer RelPrompt / intent parsing / model lan manIntent clarification, prompt buộc trả lời trực tiếp, post-filter độ dài

Khoảnh khắc aha

Từ tam giác vừa chơi, một sự thật lộ ra: RAG không phải một hệ thống — nó là hai hệ thống nối tiếp (retriever + generator) được keo lại bằng prompt. Lỗi ở mỗi khâu làm sụp đổ một đỉnh khác nhau của tam giác: retrieval hỏng → Context Relevance đỏ, generation bịa → Faithfulness đỏ, prompt/lan man → Answer Relevance đỏ. Đo một con số tổng ("answer tốt hay không") sẽ che mất đúng khâu cần sửa — đó là lý do triad là công cụ chẩn đoán, không phải công cụ chấm điểm.

Bốn lưu ý quan trọng

Thử thách chẩn đoán

Context Relevance 92%, Faithfulness 45%, Answer Relevance 80%. Nguyên nhân gốc có khả năng nhất là gì?

Context tốt (92%) → retrieval khỏe. Answer Relevance khá → model hiểu câu hỏi. Nhưng Faithfulness thấp → model có context đúng mà vẫn trả lời từ trí nhớ cũ. Đây là hallucination ở tầng generation. Fix: prompt chặt hơn ('ONLY use CONTEXT'), hoặc đổi model, hoặc thêm cite-check layer. Xem thêm hallucination.

User hỏi tiếng Việt: 'Học phí UIT ngành Trí tuệ Nhân tạo là bao nhiêu?'. Retriever (multilingual-e5 rẻ) trả về 4 doc tiếng Anh về AI programs ở Stanford. LLM dịch rồi trả lời theo đó. Metric nào tụt rõ nhất?

Đây là multilingual gotcha kinh điển. Embedding đa ngôn ngữ không đủ mạnh để phân biệt 'UIT VN' vs 'Stanford AI program' khi query tiếng Việt còn doc tiếng Anh. Context Rel đáy. Answer Rel tụt theo. Faithfulness cao là ILLUSION (trung thành với sai). Fix: embedding chuyên tiếng Việt (bge-m3, vietnamese-embedding), hybrid với BM25 VN, hoặc query rewrite sang tiếng Anh chủ động.

Faithfulness

Chia answer A thành tập atomic claims (những mệnh đề đơn nhất có thể kiểm chứng), rồi với mỗi claim, hỏi một judge LLM: *claim này có được retrieved context C support không?*

F=∣{c:c∈A,  c supported by C}∣∣{c:c∈A}∣F = \frac{|\{c : c \in A,\; c \text{ supported by } C\}|}{|\{c : c \in A\}|}

F = 1 nghĩa là mọi mệnh đề trong answer đều có đoạn trong context hậu thuẫn. F = 0 là bịa hoàn toàn. Reference trace (pointer từ claim → câu nguồn) giúp debug nhanh.

Context Relevance

Với context C (có thể gồm nhiều đoạn/câu s), đếm tỷ lệ câu thực sự liên quan tới câu hỏi Q:

CR=∣{s:s∈C,  s relevant to Q}∣∣{s:s∈C}∣CR = \frac{|\{s : s \in C,\; s \text{ relevant to } Q\}|}{|\{s : s \in C\}|}

CR thấp là signature của retrieval / chunking / embedding kém. Fix bằng: đổi embedding, tăng chunk size, thêm reranker. Xem re-ranking để hiểu cơ chế và chunking cho kích thước tối ưu.

Answer Relevance

Có hai kỹ thuật phổ biến:

  • Embedding cosine: cosine similarity giữa câu hỏi và câu trả lời (đơn giản nhưng hay sai khi answer dài).
  • Generated-questions: LLM sinh ra N câu hỏi Q'_i giả định từ answer, rồi tính cosine trung bình: AR=1N∑i=1Ncos⁡(embed(Q),  embed(Qi′))AR = \frac{1}{N} \sum_{i=1}^{N} \cos(\text{embed}(Q),\; \text{embed}(Q'_i)) Trực giác: nếu answer đúng trọng tâm, thì câu hỏi suy ngược ra sẽ giống câu hỏi gốc.

Triển khai trong CI

rag_evaluator.py — triad computation với LLM-as-judge

from dataclasses import dataclass
from statistics import mean
from typing import List

@dataclass
class RAGSample:
    query: str
    retrieved_context: List[str]    # các đoạn retrieved
    answer: str                      # câu trả lời cuối của LLM

class RAGEvaluator:
    """Bộ ba RAG Triad — reference-free, dùng LLM-as-judge."""

    def __init__(self, judge_llm, embedder, n_generated: int = 3):
        self.judge = judge_llm
        self.embed = embedder
        self.n_generated = n_generated

    # ── 1. FAITHFULNESS ──────────────────────────────────────
    def faithfulness(self, s: RAGSample) -> float:
        claims = self.judge.decompose_to_claims(s.answer)
        if not claims:
            return 1.0  # không khẳng định gì = không bịa
        supported = 0
        for c in claims:
            if self.judge.is_supported(claim=c, context=s.retrieved_context):
                supported += 1
        return supported / len(claims)

    # ── 2. CONTEXT RELEVANCE ─────────────────────────────────
    def context_relevance(self, s: RAGSample) -> float:
        sentences = self.judge.split_into_sentences(s.retrieved_context)
        if not sentences:
            return 0.0
        relevant = sum(
            1 for sent in sentences
            if self.judge.is_relevant(sentence=sent, query=s.query)
        )
        return relevant / len(sentences)

    # ── 3. ANSWER RELEVANCE ──────────────────────────────────
    def answer_relevance(self, s: RAGSample) -> float:
        generated_qs = self.judge.generate_questions(
            answer=s.answer, n=self.n_generated
        )
        q_vec = self.embed(s.query)
        sims = [cosine(q_vec, self.embed(q)) for q in generated_qs]
        return mean(sims) if sims else 0.0

    # ── TRIAD ────────────────────────────────────────────────
    def evaluate(self, samples: List[RAGSample]) -> dict:
        rows = []
        for s in samples:
            rows.append({
                "faithfulness": self.faithfulness(s),
                "context_rel":  self.context_relevance(s),
                "answer_rel":   self.answer_relevance(s),
            })
        agg = {
            "faithfulness": mean(r["faithfulness"] for r in rows),
            "context_rel":  mean(r["context_rel"]  for r in rows),
            "answer_rel":   mean(r["answer_rel"]   for r in rows),
        }
        agg["triad_mean"] = mean(agg.values())
        return agg

def cosine(a, b):
    import numpy as np
    a, b = np.array(a), np.array(b)
    return float(a @ b / (np.linalg.norm(a) * np.linalg.norm(b) + 1e-9))

Trong CI, team thường pin một file YAML định nghĩa SLO cho từng metric để gate deploy. Một ví dụ thực tế:

configs/ragas-eval.yaml

pipeline:
  dataset: s3://ai-edu/evals/rag-golden-v3.jsonl  # 180 samples
  sample_budget: 180

judge:
  model: anthropic/claude-opus-4.7
  temperature: 0.0

embedder:
  model: bge-m3               # đa ngôn ngữ VN + EN tốt
  dim: 1024

metrics:
  - faithfulness
  - context_relevance
  - answer_relevance

slo:
  faithfulness_min: 0.90
  context_relevance_min: 0.80
  answer_relevance_min: 0.85
  regression_tolerance: 0.02  # sụt > 2% so với baseline = fail

reporting:
  format: json+markdown
  sink: bigquery://ai.evals.rag_runs
  on_regression:
    - slack://#rag-quality
    - create_issue: repo/ragapp

Retrieval metrics sâu hơn

Context Relevance của RAGAS là content-level (câu có liên quan không). Còn retrieval có cả ranking-level metrics cổ điển, cần khi bạn có gold docs:

  • Recall@k: trong top-k retrieved, bao nhiêu % gold doc xuất hiện. Quan trọng nhất khi k nhỏ (k=5).
  • Hit Rate@k: có ÍT NHẤT 1 gold doc trong top-k không (0/1). Quick sanity check.
  • MRR (Mean Reciprocal Rank): 1/rank của gold doc đầu tiên, trung bình qua queries. Nhạy với việc gold có nằm ở top hay không.
  • nDCG@k: discounted gain có chuẩn hóa, tính đến cả vị trí và mức độ liên quan nhiều bậc (vd: 3=rất liên quan, 1=tạm). Vàng cho reranking eval.

Workflow chuẩn: chạy Recall@k/MRR trên golden set để tune retriever; chạy RAGAS triad trên production traffic để monitor drift.

Reference-free vs reference-based

Hai phương pháp bổ trợ nhau, không thay thế:

  • Reference-based: cần tập (query, gold_docs, gold_answer). Dùng ROUGE/BLEU cho answer, Recall@k/MRR cho retrieval. Chính xác nhưng đắt — tạo gold tốn 15–30 phút/mẫu × hàng trăm mẫu. Dùng cho: benchmark nội bộ, regression gate, so sánh pipeline.
  • Reference-free (RAGAS triad): chỉ cần (query, context, answer). LLM-as-judge chấm trực tiếp. Rẻ, scale với production log, nhưng có bias của judge model. Dùng cho: online monitoring, A/B test nhanh, large-scale sampling.

Team trưởng thành: 50–200 gold reference-based → regression gate CI. Full production traffic → reference-free sampling (~5%) → dashboard drift. Calibrate judge định kỳ bằng human eval 30 mẫu/tuần.

Cuối cùng, cần nhớ triad chỉ là công cụ chẩn đoán, không phải đích đến. Một số chiều còn thiếu mà production thật quan tâm: latency p95, $/query, recall coverage (% câu hỏi user mà hệ thống có tài liệu để trả), và harm rate (% câu trả lời gây hại). Triad là xương sống, bạn đắp thịt quanh nó theo use case.

Case study minh hoạ: Topica

Case study minh hoạ: các sự kiện và con số dưới đây không phải dữ liệu công khai của Topica.

Bối cảnh. Topica (edtech VN) build RAG trên giáo trình tiếng Việt. Stack: embedding paraphrase-multilingual-mpnet, chunk 200 tokens, không rerank, generation Claude Haiku.

Tuần 1 — triad.

  • Faithfulness: 94% — LLM bám context tốt.
  • Context Relevance: 71% — nhiều doc lạ trôi vào top-k.
  • Answer Relevance: 88% — đi vào trọng tâm.

Chẩn đoán. Context Rel yếu nhất → khâu retrieval bệnh. Hai giả thuyết: (1) embedding multilingual không đủ mạnh cho tiếng Việt chuyên ngành, (2) chunk 200 tokens cắt vụn ngữ cảnh — câu đầu ở chunk A, câu giải thích ở chunk B, retriever không lấy đủ.

Thử nghiệm. 4 variant song song trên golden set 150 câu:

  • V1 (baseline): chunk 200, no rerank → CR 71%.
  • V2: chunk 512, no rerank → CR 82%.
  • V3: chunk 200 + Cohere Rerank v3 → CR 85%.
  • V4: chunk 512 + Cohere Rerank v3 → CR 89%, Faithfulness 96%, Answer Rel 91%.

Kết quả. Triển khai V4. Latency +180ms, $/query +0.0007 (chấp nhận được). CSAT học viên từ 4.1 → 4.6 sau 3 tuần.

Bài học. Nếu Topica chỉ đo "điểm trả lời tổng thể" kiểu 0-5 sao, họ đã không biết retrieval hay generation đang yếu. Bộ ba tách riêng giúp họ đi thẳng đến retriever, thử đúng 2 biến số (chunk_size + rerank), và fix chỉ trong 1 sprint. Đo tách riêng mới biết khâu nào hỏng.

Tóm tắt

  • RAG = 2 hệ nối tiếp (retriever + generator) + prompt. Lỗi ở mỗi khâu làm sụp một đỉnh khác của tam giác.
  • Bộ ba cốt lõi: Faithfulness (bám nguồn), Context Relevance (doc liên quan), Answer Relevance (đúng câu hỏi). Đo CẢ BA, không gộp.
  • Chẩn đoán: Context Rel đỏ → fix retrieval (embedding, chunk, rerank). Faithfulness đỏ → fix generation (prompt chặt, đổi model, cite-check). Answer Rel đỏ → fix prompt/intent.
  • Framework 2026: RAGAS (mặc định), TruLens, ARES, DeepEval. Tất cả hỗ trợ reference-free LLM-as-judge + reference trace để debug.
  • Golden retrieval set 50–200 mẫu là tài sản vận hành — cập nhật mỗi 2–4 tuần từ production log, dùng làm CI gate.
  • Multilingual gotcha VN: embedding đa ngôn ngữ yếu hay kéo doc sai ngôn ngữ. Dùng embedding chuyên VN (bge-m3) hoặc hybrid BM25.

Continue the module

Lesson 2 of 7