ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← Kiến trúc tiên tiến

AI Researcher

Hỗn hợp chuyên gia — Chia để trị

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Kiến trúc mô hình sử dụng nhiều mạng con chuyên biệt (chuyên gia), chỉ kích hoạt một vài chuyên gia cho mỗi đầu vào.

lesson115 minKiến trúc tiên tiếnAI Researcher

Dự đoán

Bạn muốn model có kiến thức rộng (nhiều tham số) nhưng inference nhanh (ít compute). Hai mục tiêu mâu thuẫn — có cách nào được cả hai?

MoE phá vỡ trade-off truyền thống! Giống bệnh viện 100 bác sĩ chuyên khoa — khi bệnh nhân đến, chỉ 2-3 bác sĩ phù hợp khám. Bệnh viện có nhiều chuyên gia (kiến thức rộng) nhưng chi phí mỗi lần khám thấp.

Khoảnh khắc Aha

MoE phá vỡ quy luật "nhiều tham số = nhiều compute". Mixtral 8x7B: 47B tham số (kiến thức rộng) nhưng mỗi token chỉ kích hoạt 13B (compute thấp). Kết quả: chất lượng gần GPT-3.5, chi phí chạy bằng model 13B. Giống bệnh viện 100 bác sĩ — mỗi lần khám chỉ tốn chi phí 2 bác sĩ!

Thử thách

Mixtral 8x7B (47B params) cần bao nhiêu VRAM FP16 để serving? GPU A100 80GB, cần mấy GPU?

Phải load TẤT CẢ 47B params vào VRAM (router cần truy cập bất kỳ expert nào). 47B x 2 bytes FP16 = 94GB > 80GB 1 GPU. Cần 2 GPU A100. Đây là trade-off chính của MoE: compute thấp nhưng MEMORY cao. Quantization (INT4) giảm còn 24GB → vừa 1 GPU!

Cấu trúc MoE layer

Mixture of Experts (MoE) là kiến trúc sparse thường thay thế lớp FFN trong Transformer: nhiều expert networks nhưng chỉ kích hoạt subset nhỏ cho mỗi input. Đạt chất lượng model lớn với compute model nhỏ, giúp vượt qua giới hạn của scaling laws truyền thống.

Cấu trúc MoE layer:

Output=∑i=1Kgi(x)⋅Ei(x),K=top-k experts\text{Output} = \sum_{i=1}^{K} g_i(x) \cdot E_i(x), \quad K = \text{top-}k \text{ experts}

Trong đó gi(x)g_i(x) là trọng số từ router, Ei(x)E_i(x) là output của expert thứ i.

Router

Router (Gating Network):

g(x)=TopK(Softmax(Wgate⋅x),k)g(x) = \text{TopK}(\text{Softmax}(W_{\text{gate}} \cdot x), k)

Router là linear layer nhỏ. Input: hidden state. Output: probability distribution trên N experts. Chọn top-K (thường K=2).

Load balancing

Load Balancing Loss:

Lbalance=N⋅∑i=1Nfi⋅pi\mathcal{L}_{\text{balance}} = N \cdot \sum_{i=1}^{N} f_i \cdot p_i

fif_i = fraction tokens gửi đến expert i, pip_i = average routing probability. Phạt phân phối không đều → ép dùng tất cả experts.

Thực tế triển khai

Serving MoE model với vLLM

from vllm import LLM, SamplingParams

# Mixtral 8x7B — vLLM tự xử lý expert routing
llm = LLM(
    model="mistralai/Mixtral-8x7B-Instruct-v0.1",
    tensor_parallel_size=2,  # 2 GPU (47B FP16 = 94GB)
    max_model_len=32768,
    gpu_memory_utilization=0.9,
    # vLLM auto: expert parallelism, continuous batching
)

# Inference — user không cần biết MoE internals
params = SamplingParams(temperature=0.7, max_tokens=512)
output = llm.generate(["Giải thích MoE cho sinh viên Việt Nam"], params)

# Benchmark Mixtral 8x7B:
# - Quality ≈ GPT-3.5 Turbo (MMLU 70.6%)
# - Throughput: 2x model 47B dense (vì chỉ compute 13B)
# - VRAM: 94GB FP16 → 24GB INT4 (1 GPU A100)

Tóm tắt

  • MoE = nhiều expert chuyên biệt, router chọn top-K (thường 2) cho mỗi token.
  • Phá vỡ trade-off: 47B params (kiến thức rộng) nhưng compute chỉ 13B (inference nhanh).
  • Router = linear layer nhỏ, quyết định expert nào xử lý token nào dựa trên hidden state.
  • Load balancing loss ép dùng tất cả experts đều — tránh expert collapse.
  • Trade-off: compute thấp nhưng MEMORY cao (phải load tất cả experts). Quantization giải quyết.

Continue the module

Lesson 8 of 12