Dự đoán
SLM 8B xử lý FAQ đơn giản rất tốt (accuracy 90%+). Tự host trên 1 GPU: chi phí $3/ngày (so với $150/ngày API). Giảm 50x chi phí! Giống cửa hàng tiện lợi — không cần siêu thị cho nhu cầu hàng ngày.
Evaluating routing across providers.
AI Researcher
Mô hình ngôn ngữ dưới 10B tham số được tối ưu để chạy trên thiết bị cá nhân với chất lượng ngày càng tiệm cận mô hình lớn.
SLM 8B xử lý FAQ đơn giản rất tốt (accuracy 90%+). Tự host trên 1 GPU: chi phí $3/ngày (so với $150/ngày API). Giảm 50x chi phí! Giống cửa hàng tiện lợi — không cần siêu thị cho nhu cầu hàng ngày.
SLM là cửa hàng tiện lợi — không có MỌI THỨ như siêu thị (GPT-4), nhưng có ĐỦ thứ bạn cần hàng ngày. Phi-3 Mini (3.8B) đạt MMLU 69% — ngang GPT-3.5! Bí quyết không phải nhiều tham số, mà là dữ liệu huấn luyện chất lượng cao (textbook quality data).
HIPAA cấm gửi data lên cloud → chỉ có on-device. iPhone 15 có 8GB RAM (chia với OS, còn ~4GB cho app). Phi-3 Mini INT4: ~2GB RAM, chạy được. Llama 70B: 35GB RAM — không thể. Privacy + performance + size — SLM là giải pháp duy nhất!
Small Language Models (SLM) là model ngôn ngữ dưới 10B params, được tối ưu để chạy trên thiết bị cá nhân với chất lượng ngày càng gần model lớn. SLM thường được tạo ra bằng cách kết hợp knowledge distillation từ model lớn và quantization (FP16 → INT4) để vừa bộ nhớ thiết bị.
Scaling law mới — chất lượng > số lượng:
Data chất lượng x10 > params x10. Phi-3 (3.8B, textbook data) vượt GPT-3.5 (175B, web data) (theo nguồn bài, chưa kiểm chứng).
3 kỹ thuật tạo SLM chất lượng cao:
Deployment pipeline cho SLM:
# Quantize model: FP16 → INT4 GGUF
# python convert.py llama-3-8b/ --outtype q4_K_M
# llama.cpp server (chạy trên máy tính hoặc server)
# ./server -m llama-3-8b-q4_K_M.gguf -c 4096 --port 8080
# Python client
from llama_cpp import Llama
# Load model INT4 — chỉ 4.9GB RAM
llm = Llama(
model_path="llama-3-8b-q4_K_M.gguf",
n_ctx=4096, # Context window
n_gpu_layers=-1, # All layers on GPU/NPU
verbose=False,
)
# Inference — 25 tokens/s trên M2 MacBook
output = llm(
"Triệu chứng sốt xuất huyết là gì?",
max_tokens=256,
temperature=0.7,
)
print(output["choices"][0]["text"])
# Accuracy 90%+ cho FAQ y tế, latency 50ms