Case study minh hoạ: các sự kiện và con số dưới đây không phải dữ liệu thật của startup hay VNG Cloud được nêu trong bài.
Bối cảnh. Một startup y tế Việt Nam triển khai chatbot tư vấn sức khỏe trên hạ tầng VNG Cloud, tích hợp RAG với tài liệu hướng dẫn của Bộ Y tế. Sau launch, dashboard APM hiển thị p95 = 12s. SLO ban đầu viết là < 6s. User complain tăng; CSAT tụt từ 4.6 xuống 3.9 trong 2 tuần.
Đoán mò (thất bại). Team thử scale replica × 3 (không đổi), bật Redis cache trên prompt hash (hit rate 2% — prompt y tế đa dạng), đổi model từ claude-sonnet-4.7 sang haiku (CSAT tụt thêm). Ba ngày, không fix được.
Bật observability. Team cài Langfuse self-hosted (yêu cầu tuân thủ dữ liệu y tế, không ra khỏi mạng nội bộ) + OTel Collector với PII redaction trước khi lưu. Một trace waterfall cho câu hỏi "triệu chứng sốt kéo dài 3 ngày" lộ ra:
retrieve.vector_search = 0.4s (ổn).retrieve.rerank = 4.1s (bất thường — model rerank chạy trên CPU, batch size 1).llm.generate = 6.8s — và điều đáng lẽ phải bắt đầu ngay sau vector_search lại chờ xong rerank. Rerank và LLM đang chạy tuần tự.
Sửa. Hai thay đổi: (1) chuyển rerank sang GPU batch + cho chạy song song với việc gửi prompt đầu tiên tới LLM (speculative — LLM bắt đầu với top-20 chưa rerank, cập nhật khi rerank xong); (2) cache rerank theo intent. Kết quả: p95 từ 12s xuống 5.2s. CSAT hồi phục sau 10 ngày.
Bài học. Không có trace, debug latency là đoán mò — scale, cache, đổi model đều là giả thuyết không bằng chứng. Một trace tốt biến câu hỏi "vì sao chậm?" thành một đồ thị trực quan với đáp án nhìn thấy được bằng mắt thường. Với domain nhạy cảm (y tế, tài chính), self-hosted Langfuse + PII redaction là điều kiện bắt buộc, không phải tùy chọn.