Case study minh hoạ: các số liệu và sự kiện dưới đây không phải dữ liệu công khai của MoMo.
Bối cảnh. Một đội ở MoMo triển khai chatbot hỗ trợ CSKH: tra đơn, hủy giao dịch, hướng dẫn liên kết thẻ. Volume: ~180k conversation/ngày, mỗi conversation trung bình 4 turn, dùng gpt-4o-full cho toàn bộ.
Trước khi đo. Team nghĩ tốn "khoảng vài nghìn đô". Không có dashboard $/task, không có alert khi spike. Cuối tháng hóa đơn về: $18.000 — gần bằng 30 nhân viên CSKH. Sếp hỏi tại sao, không ai trả lời chắc.
Đo trước, tối ưu sau. Tuần 1-2: chỉ thêm observability. Kết quả phân rã:
- 72% cost ở input tokens (system prompt 3.2k + FAQ 4k + lịch sử hội thoại).
- 28% ở output. Trong output, 30% là câu trả lời đơn giản (yes/no/status).
- p95 latency 6.4s — decode 55%, TTFT 20%, tool 15%, retrieval 10%.
Ba can thiệp.
- Prompt caching cho system prompt + FAQ: hit rate steady-state đạt 88% → input cost giảm ~79%.
- Cascade gpt-4o-mini → gpt-4o-full: gate là một classifier nhỏ kiểm intent. 73% traffic (status, FAQ đơn giản) dừng ở mini; 27% khó (policy edge, refund) lên full. $/req giảm thêm ~45%.
- Tóm tắt context > 5 turn: history dài tóm thành 300 token thay vì gửi full 2-3k token. Input tiếp tục giảm 15% ở phần variable.
Kết quả sau 4 tuần. Hóa đơn: $4.200/tháng (giảm 77%). CSAT không đổi (lấy từ 2k rating sampling mỗi tuần). p95 latency: 3.8s (nhờ mini nhanh hơn cho 73% traffic). Dashboard $/task realtime thay cho "đoán cuối tháng"; alert khi spike > 20% so với baseline 7 ngày.
Bài học. Thứ tự đúng: đo → tìm Pareto → tối ưu đúng chỗ → theo dõi CSAT. Nếu team đi thẳng vào "đổi model rẻ hơn" từ đầu, khả năng cao CSAT tụt rồi phải rollback — mất cả tiền và niềm tin của sếp vào AI team.