AI Builder
Fine-tuning & Tối ưu
Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.Fine-tuning vs prompting; LoRA; QLoRA Quantization, distillation, pruning, mixed precision
Format
Guided module
Duration
14h
Lessons
8
What you will practice
- Fine-tuning vs prompting; LoRA; QLoRA
- Quantization, distillation, pruning, mixed precision
Lesson order
8 lessonsFine-tuning - Tinh chỉnh mô hình
Quá trình huấn luyện thêm mô hình đã pre-train trên dữ liệu chuyên biệt để thực hiện tác vụ cụ thể.
LoRA - Tinh chỉnh hạng thấp
Kỹ thuật tinh chỉnh hiệu quả, chỉ huấn luyện ma trận nhỏ thay vì toàn bộ mô hình.
QLoRA - LoRA lượng tử hóa
Kết hợp lượng tử hóa 4-bit với LoRA, cho phép fine-tune mô hình 65B trên GPU 48GB.
Fine-tuning hay Prompting?
Khi nào nên tinh chỉnh model, khi nào chỉ cần kỹ thuật prompt — hướng dẫn chọn chiến lược phù hợp cho dự án AI của bạn.
Lượng tử hóa mô hình
Kỹ thuật giảm kích thước mô hình bằng cách giảm độ chính xác số học, từ FP32 xuống INT8/INT4.
Chưng cất kiến thức
Kỹ thuật chuyển giao kiến thức từ mô hình lớn (teacher) sang mô hình nhỏ (student) hiệu quả hơn.
Pruning - Cắt tỉa mô hình
Kỹ thuật loại bỏ các trọng số hoặc nơ-ron ít quan trọng để giảm kích thước mô hình.
Huấn luyện hỗn hợp độ chính xác
Kỹ thuật kết hợp FP16 và FP32 trong huấn luyện để tăng tốc và giảm bộ nhớ mà vẫn giữ chính xác.