ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← Fine-tuning & Tối ưu

AI Builder

Pruning - Cắt tỉa mô hình

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Kỹ thuật loại bỏ các trọng số hoặc nơ-ron ít quan trọng để giảm kích thước mô hình.

lesson105 minFine-tuning & Tối ưuAI Engineer

Dự đoán

Nghiên cứu cho thấy có thể xoá đến 90% trọng số của một mạng nơ-ron. Kết quả sẽ ra sao?

Khám phá — cắt tỉa tương tác

Khi nâng ngưỡng cắt tỉa, các kết nối có trọng số nhỏ hơn ngưỡng sẽ biến mất. Theo nguồn bài, khi ngưỡng đạt 0,5 chất lượng vẫn khoảng 85% dù đã cắt gần nửa kết nối. Các trọng số lớn mang phần lớn thông tin.

Khoảnh khắc aha

Mạng nơ-ron giống khu rừng um tùm: phần lớn cành nhỏ không đóng góp gì cho tán cây. Pruning phát hiện rằng chỉ một tập con nhỏ trọng số thực sự quan trọng (giả thuyết vé số may mắn). Cắt phần còn lại không chỉ giảm kích thước mà đôi khi còn cải thiện tổng quát hoá vì giảm overfitting.

Thử thách

Bạn pruning 80% trọng số theo kiểu unstructured. Mô hình nhỏ hơn 80% trên đĩa nhưng tốc độ suy luận không nhanh hơn. Tại sao?

Lý thuyết

Pruning loại bỏ các thành phần ít quan trọng trong mô hình. Tiêu chí cơ bản: trọng số có giá trị tuyệt đối nhỏ thì ít quan trọng.

Maskij={1neˆˊu ∣wij∣≥τ0neˆˊu ∣wij∣<τ\text{Mask}_{ij} = \begin{cases} 1 & \text{nếu } |w_{ij}| \geq \tau \\ 0 & \text{nếu } |w_{ij}| < \tau \end{cases}
  • Unstructured pruning: xoá từng trọng số riêng lẻ. Tỉ lệ cắt cao (90% trở lên) nhưng tạo ma trận thưa, cần phần cứng chuyên biệt.
  • Structured pruning: xoá toàn bộ neuron, filter CNN hoặc attention head. Giảm kích thước thật trên phần cứng thông thường.

pruning_example.py

import torch.nn.utils.prune as prune

# Unstructured pruning — xoá 50% trọng số nhỏ nhất
prune.l1_unstructured(model.layer1, name="weight", amount=0.5)

# Structured pruning — xoá 30% filter kém quan trọng nhất
prune.ln_structured(model.conv1, name="weight", amount=0.3, n=2, dim=0)

# Quy trình: Train → Prune → Fine-tune → (Lặp lại)
for round in range(3):
    train(model, epochs=5)           # Fine-tune phục hồi
    prune.l1_unstructured(model, amount=0.3)  # Cắt thêm

Tóm tắt

  • Pruning loại bỏ trọng số hoặc neuron ít quan trọng. Theo nguồn bài, có thể cắt 90% với chất lượng giảm dưới 2% khi huấn luyện lại phù hợp.
  • Unstructured: cắt từng trọng số, tỉ lệ cao nhưng cần phần cứng thưa. Structured: cắt neuron hoặc head, tăng tốc thật trên GPU thông thường.
  • Quy trình: huấn luyện, cắt tỉa, fine-tune lại, rồi lặp. Iterative pruning cho kết quả tốt nhất.
  • Lottery Ticket Hypothesis: mạng lớn chứa mạng con đạt hiệu suất tương đương, và pruning giúp tìm ra mạng con đó.

Continue the module

Lesson 7 of 8