ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← Xu hướng mới

AI Researcher

Mô hình ngôn ngữ nhỏ — Nhỏ mà có võ

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Mô hình ngôn ngữ dưới 10B tham số được tối ưu để chạy trên thiết bị cá nhân với chất lượng ngày càng tiệm cận mô hình lớn.

lesson120 minXu hướng mớiAI Researcher

Dự đoán

Chatbot FAQ 10K request/ngày, 90% câu hỏi đơn giản. Lựa chọn nào hợp lý nhất?

SLM 8B xử lý FAQ đơn giản rất tốt (accuracy 90%+). Tự host trên 1 GPU: chi phí $3/ngày (so với $150/ngày API). Giảm 50x chi phí! Giống cửa hàng tiện lợi — không cần siêu thị cho nhu cầu hàng ngày.

Khoảnh khắc A-ha

SLM là cửa hàng tiện lợi — không có MỌI THỨ như siêu thị (GPT-4), nhưng có ĐỦ thứ bạn cần hàng ngày. Phi-3 Mini (3.8B) đạt MMLU 69% — ngang GPT-3.5! Bí quyết không phải nhiều tham số, mà là dữ liệu huấn luyện chất lượng cao (textbook quality data).

Thử thách

Chatbot y tế trên điện thoại, dữ liệu bệnh nhân không được gửi lên cloud. Nên chọn gì?

HIPAA cấm gửi data lên cloud → chỉ có on-device. iPhone 15 có 8GB RAM (chia với OS, còn ~4GB cho app). Phi-3 Mini INT4: ~2GB RAM, chạy được. Llama 70B: 35GB RAM — không thể. Privacy + performance + size — SLM là giải pháp duy nhất!

Chất lượng dữ liệu và scaling

Small Language Models (SLM) là model ngôn ngữ dưới 10B params, được tối ưu để chạy trên thiết bị cá nhân với chất lượng ngày càng gần model lớn. SLM thường được tạo ra bằng cách kết hợp knowledge distillation từ model lớn và quantization (FP16 → INT4) để vừa bộ nhớ thiết bị.

Scaling law mới — chất lượng > số lượng:

Performance∝log⁡(N)⋅Qdata(N=params,Q=data quality)\text{Performance} \propto \log(N) \cdot Q_{\text{data}} \quad (N = \text{params}, Q = \text{data quality})

Data chất lượng x10 > params x10. Phi-3 (3.8B, textbook data) vượt GPT-3.5 (175B, web data) (theo nguồn bài, chưa kiểm chứng).

Kỹ thuật tạo SLM

3 kỹ thuật tạo SLM chất lượng cao:

  • Data curation: Lọc dữ liệu chất lượng cao, loại bỏ spam/toxic/duplicate. 'Textbook quality' data
  • Knowledge Distillation: Model lớn (teacher) dạy model nhỏ (student) — chuyển kiến thức cô đọng
  • Architecture optimization: Grouped Query Attention, SwiGLU, RoPE — thiết kế riêng cho SLM
Ldistill=α⋅KL(pstudent∥pteacher)+(1−α)⋅LCE\mathcal{L}_{\text{distill}} = \alpha \cdot \text{KL}(p_{\text{student}} \| p_{\text{teacher}}) + (1 - \alpha) \cdot \mathcal{L}_{\text{CE}}

Triển khai trên thiết bị

Deployment pipeline cho SLM:

  • Quantize: FP16 → INT4 (GGUF format) giảm 4x size
  • Optimize: llama.cpp, MLX (Apple), MediaPipe (Android) cho inference nhanh
  • Fine-tune: LoRA adapter cho domain cụ thể (y tế, pháp luật)

Chạy SLM trên điện thoại với llama.cpp

# Quantize model: FP16 → INT4 GGUF
# python convert.py llama-3-8b/ --outtype q4_K_M

# llama.cpp server (chạy trên máy tính hoặc server)
# ./server -m llama-3-8b-q4_K_M.gguf -c 4096 --port 8080

# Python client
from llama_cpp import Llama

# Load model INT4 — chỉ 4.9GB RAM
llm = Llama(
    model_path="llama-3-8b-q4_K_M.gguf",
    n_ctx=4096,           # Context window
    n_gpu_layers=-1,      # All layers on GPU/NPU
    verbose=False,
)

# Inference — 25 tokens/s trên M2 MacBook
output = llm(
    "Triệu chứng sốt xuất huyết là gì?",
    max_tokens=256,
    temperature=0.7,
)
print(output["choices"][0]["text"])
# Accuracy 90%+ cho FAQ y tế, latency 50ms

Tóm tắt

  • SLM (1-10B params) chạy trên điện thoại/laptop, đạt 85-90% chất lượng model lớn cho tác vụ thường ngày.
  • Bí quyết: data chất lượng cao (textbook quality) + distillation từ model lớn, không phải nhiều params.
  • On-device: privacy tuyệt đối, latency thấp, offline, miễn phí. Trade-off: kém model lớn ở tác vụ phức tạp.
  • Quantization INT4 giảm 4x size: model 8B chỉ 4.9GB RAM — vừa điện thoại.
  • Xu hướng: SLM + fine-tune domain-specific thay thế API model lớn cho 80% use cases, giảm chi phí 10-50x.

Continue the module

Lesson 5 of 6