Case study minh hoạ: các sự kiện và con số dưới đây không phải dữ liệu công khai của Topica.
Bối cảnh. Topica (edtech VN) build RAG trên giáo trình tiếng Việt. Stack: embedding paraphrase-multilingual-mpnet, chunk 200 tokens, không rerank, generation Claude Haiku.
Tuần 1 — triad.
- Faithfulness: 94% — LLM bám context tốt.
- Context Relevance: 71% — nhiều doc lạ trôi vào top-k.
- Answer Relevance: 88% — đi vào trọng tâm.
Chẩn đoán. Context Rel yếu nhất → khâu retrieval bệnh. Hai giả thuyết: (1) embedding multilingual không đủ mạnh cho tiếng Việt chuyên ngành, (2) chunk 200 tokens cắt vụn ngữ cảnh — câu đầu ở chunk A, câu giải thích ở chunk B, retriever không lấy đủ.
Thử nghiệm. 4 variant song song trên golden set 150 câu:
- V1 (baseline): chunk 200, no rerank → CR 71%.
- V2: chunk 512, no rerank → CR 82%.
- V3: chunk 200 + Cohere Rerank v3 → CR 85%.
- V4: chunk 512 + Cohere Rerank v3 → CR 89%, Faithfulness 96%, Answer Rel 91%.
Kết quả. Triển khai V4. Latency +180ms, $/query +0.0007 (chấp nhận được). CSAT học viên từ 4.1 → 4.6 sau 3 tuần.
Bài học. Nếu Topica chỉ đo "điểm trả lời tổng thể" kiểu 0-5 sao, họ đã không biết retrieval hay generation đang yếu. Bộ ba tách riêng giúp họ đi thẳng đến retriever, thử đúng 2 biến số (chunk_size + rerank), và fix chỉ trong 1 sprint. Đo tách riêng mới biết khâu nào hỏng.