Dự đoán
MoE phá vỡ trade-off truyền thống! Giống bệnh viện 100 bác sĩ chuyên khoa — khi bệnh nhân đến, chỉ 2-3 bác sĩ phù hợp khám. Bệnh viện có nhiều chuyên gia (kiến thức rộng) nhưng chi phí mỗi lần khám thấp.
Evaluating routing across providers.
AI Researcher
Kiến trúc mô hình sử dụng nhiều mạng con chuyên biệt (chuyên gia), chỉ kích hoạt một vài chuyên gia cho mỗi đầu vào.
MoE phá vỡ trade-off truyền thống! Giống bệnh viện 100 bác sĩ chuyên khoa — khi bệnh nhân đến, chỉ 2-3 bác sĩ phù hợp khám. Bệnh viện có nhiều chuyên gia (kiến thức rộng) nhưng chi phí mỗi lần khám thấp.
MoE phá vỡ quy luật "nhiều tham số = nhiều compute". Mixtral 8x7B: 47B tham số (kiến thức rộng) nhưng mỗi token chỉ kích hoạt 13B (compute thấp). Kết quả: chất lượng gần GPT-3.5, chi phí chạy bằng model 13B. Giống bệnh viện 100 bác sĩ — mỗi lần khám chỉ tốn chi phí 2 bác sĩ!
Phải load TẤT CẢ 47B params vào VRAM (router cần truy cập bất kỳ expert nào). 47B x 2 bytes FP16 = 94GB > 80GB 1 GPU. Cần 2 GPU A100. Đây là trade-off chính của MoE: compute thấp nhưng MEMORY cao. Quantization (INT4) giảm còn 24GB → vừa 1 GPU!
Mixture of Experts (MoE) là kiến trúc sparse thường thay thế lớp FFN trong Transformer: nhiều expert networks nhưng chỉ kích hoạt subset nhỏ cho mỗi input. Đạt chất lượng model lớn với compute model nhỏ, giúp vượt qua giới hạn của scaling laws truyền thống.
Cấu trúc MoE layer:
Trong đó là trọng số từ router, là output của expert thứ i.
Router (Gating Network):
Router là linear layer nhỏ. Input: hidden state. Output: probability distribution trên N experts. Chọn top-K (thường K=2).
Load Balancing Loss:
= fraction tokens gửi đến expert i, = average routing probability. Phạt phân phối không đều → ép dùng tất cả experts.
from vllm import LLM, SamplingParams
# Mixtral 8x7B — vLLM tự xử lý expert routing
llm = LLM(
model="mistralai/Mixtral-8x7B-Instruct-v0.1",
tensor_parallel_size=2, # 2 GPU (47B FP16 = 94GB)
max_model_len=32768,
gpu_memory_utilization=0.9,
# vLLM auto: expert parallelism, continuous batching
)
# Inference — user không cần biết MoE internals
params = SamplingParams(temperature=0.7, max_tokens=512)
output = llm.generate(["Giải thích MoE cho sinh viên Việt Nam"], params)
# Benchmark Mixtral 8x7B:
# - Quality ≈ GPT-3.5 Turbo (MMLU 70.6%)
# - Throughput: 2x model 47B dense (vì chỉ compute 13B)
# - VRAM: 94GB FP16 → 24GB INT4 (1 GPU A100)