ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← Fine-tuning & Tối ưu

AI Builder

Fine-tuning - Tinh chỉnh mô hình

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Quá trình huấn luyện thêm mô hình đã pre-train trên dữ liệu chuyên biệt để thực hiện tác vụ cụ thể.

lesson105 minFine-tuning & Tối ưuAI Engineer

Dự đoán

Bạn có mô hình GPT-4 biết nhiều thứ, và muốn nó trở thành chuyên gia y khoa. Cách nào hiệu quả nhất?

Câu hỏi đặt ra: vì sao parameter-efficient fine-tuning (LoRA, Adapter, Prefix) đã thay thế full fine-tuning trong hầu hết ứng dụng thực tế?

Các phương pháp PEFT

Phương phápTrainableÝ tưởng
Full fine-tuning100%Cập nhật toàn bộ trọng số
LoRAKhoảng 0,1 đến 1%Học hai ma trận hạng thấp cạnh trọng số đóng băng
AdapterVài phần trămChèn module MLP nhỏ giữa các lớp
Prefix / Prompt tuningRất ítHọc chuỗi vector đầu vào, không đụng trọng số

Theo nguồn bài, LoRA chỉ dùng 0,1 đến 1% tham số đã đạt khoảng 99% accuracy của full fine-tuning (cần kiểm chứng với từng tác vụ). Đường cong accuracy theo số tham số học bão hoà rất sớm.

VRAM: LLaMA 7B (ước lượng)

Tham chiếu theo nguồn bài: full fine-tuning trên LLaMA 7B cần khoảng 80 đến 100 GB VRAM với fp16 và Adam. LoRA có thể chạy trên một GPU 24 GB. QLoRA đẩy xuống dưới 16 GB (con số ước lượng).

Khoảnh khắc aha

Fine-tuning không phải dạy mô hình kiến thức mới từ con số 0, mà là kích hoạt và chuyên biệt hoá kiến thức mà nó đã biết. Giống bác sĩ đa khoa đã hiểu cơ thể người, chỉ cần học thêm chuyên khoa tim mạch thay vì học lại từ năm nhất.

Điểm then chốt của PEFT: cập nhật cần thiết ΔW có rank hiệu dụng rất thấp. Phần kiến thức mới mà mô hình cần học thực ra rất nhỏ, và LoRA khai thác điều đó để tiết kiệm phần lớn bộ nhớ mà vẫn giữ gần như toàn bộ chất lượng.

Thử thách

Bạn fine-tune mô hình trên 500 mẫu dữ liệu pháp lý trong 20 epoch. Mô hình đạt 99% trên dữ liệu huấn luyện nhưng chỉ 60% trên dữ liệu mới. Vấn đề là gì?
Công ty bạn có năm sản phẩm cần chatbot chuyên biệt, ngân sách GPU hạn chế. Kiến trúc triển khai nào hợp lý nhất?

Giải thích

Fine-tuning là huấn luyện thêm một mô hình đã pre-train trên tập dữ liệu chuyên biệt nhỏ hơn, để thích ứng mô hình với tác vụ hoặc lĩnh vực cụ thể:

θ∗=arg⁡min⁡θ∑(x,y)∈DftL(fθ(x),y)\theta^* = \arg\min_\theta \sum_{(x,y) \in D_{\text{ft}}} \mathcal{L}(f_\theta(x), y)

θ được khởi tạo từ trọng số pre-train thay vì ngẫu nhiên. Đây là sức mạnh của transfer learning. So với prompt engineering, fine-tuning thay đổi trọng số mô hình vĩnh viễn.

Công thức LoRA

Thay vì học toàn bộ ΔW ∈ ℝ^(d×d), LoRA giả định ΔW có rank thấp và phân rã:

ΔW=B⋅A,A∈Rr×d,  B∈Rd×r,r≪d\Delta W = B \cdot A, \quad A \in \mathbb{R}^{r \times d},\; B \in \mathbb{R}^{d \times r}, \quad r \ll d

Trong forward pass: h = Wx + BAx. Sau khi fine-tune, có thể gộp W' = W + BA để không tăng chi phí suy luận.

Các loại fine-tuning phổ biến

  • Full fine-tuning: cập nhật tất cả trọng số. Hiệu quả nhất nhưng tốn bộ nhớ GPU và dễ overfit trên tập nhỏ.
  • SFT (Supervised Fine-Tuning): huấn luyện trên cặp (instruction, response) để học cách tuân theo chỉ dẫn. Là bước đầu của RLHF.
  • PEFT: chỉ cập nhật một phần nhỏ trọng số, như LoRA, Adapter, Prefix, Prompt Tuning. Tiết kiệm bộ nhớ đáng kể.
  • DPO và alignment: sau SFT, dùng so sánh cặp để căn chỉnh hành vi (DPO, RLHF, GRPO).

Code full fine-tuning

fine_tune_full.py

from transformers import AutoModelForCausalLM, Trainer, TrainingArguments
from datasets import load_dataset

# Tải mô hình đã pre-train
model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-3-8B")

# Chuẩn bị dữ liệu chuyên biệt
dataset = load_dataset("json", data_files="medical_qa.jsonl")

# Fine-tune với learning rate nhỏ (tránh phá vỡ kiến thức cũ)
args = TrainingArguments(
    output_dir="./llama-medical",
    learning_rate=2e-5,           # Nhỏ hơn pre-training 10-100x
    num_train_epochs=3,           # Ít epoch tránh overfitting
    per_device_train_batch_size=4,
    warmup_ratio=0.03,
    lr_scheduler_type="cosine",
    gradient_checkpointing=True,  # Tiết kiệm VRAM
    bf16=True,                    # Mixed precision
)

trainer = Trainer(model=model, train_dataset=dataset["train"], args=args)
trainer.train()
trainer.save_model()

Code LoRA

fine_tune_lora.py

from transformers import AutoModelForCausalLM
from peft import LoraConfig, get_peft_model, TaskType

# Tải backbone và "đóng băng" trọng số
model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-3-8B",
    load_in_4bit=True,  # → QLoRA: backbone 4-bit, adapter fp16
)

# Chèn LoRA adapter
lora_config = LoraConfig(
    task_type=TaskType.CAUSAL_LM,
    r=8,                # rank — càng lớn càng nhiều tham số
    lora_alpha=16,      # scaling
    lora_dropout=0.05,
    target_modules=["q_proj", "v_proj"],  # chỉ attention Q, V
)
model = get_peft_model(model, lora_config)

# Chỉ 0.1–0.3% tham số được học
model.print_trainable_parameters()
# → trainable params: 8,388,608 || all params: 8,038,274,048
#   || trainable%: 0.104

# Phần còn lại giống Trainer thông thường:
trainer.train()
model.save_pretrained("./llama-medical-lora")  # ~65 MB, không phải 14 GB!

Lịch sử và cạm bẫy

Lịch sử: từ ULMFiT đến LoRA

  • 2018, ULMFiT (Howard và Ruder): một language model pre-train trên Wikipedia, fine-tune cho tác vụ phân loại và NER. Bước đầu của transfer learning trong NLP.
  • 2018, BERT (Devlin và cộng sự): chuẩn hoá quy trình pre-train rồi fine-tune cho Transformer.
  • 2019, Adapter (Houlsby và cộng sự): chèn module MLP nhỏ giữa các lớp, gần như giữ accuracy với khoảng 3% tham số (theo nguồn bài).
  • 2020, GPT-3 và few-shot: mô hình đủ lớn làm được nhiều tác vụ chỉ bằng prompt. Fine-tuning chuyển từ bắt buộc thành khi cần chuyên sâu.
  • 2021, Prefix và Prompt tuning (Li và Liang; Lester): học chuỗi vector prefix ở đầu mỗi lớp attention, với rất ít tham số.
  • 2021, LoRA (Hu và cộng sự, Microsoft): ΔW = B·A với rank r thấp, gần như hiệu quả full fine-tuning với khoảng 0,1% tham số. Trở thành phương pháp PEFT phổ biến nhất.
  • 2023, QLoRA (Dettmers và cộng sự): kết hợp LoRA với lượng tử hoá 4-bit NF4 cho backbone.
  • 2023 đến 2024, DPO, IPO, KTO: thay RLHF truyền thống bằng loss đơn giản hơn. SFT rồi DPO là công thức phổ biến cho mô hình instruction-tuned.

Cạm bẫy phổ biến

  1. Dữ liệu bẩn hơn bạn nghĩ. Fine-tuning là rác vào, rác ra. 500 mẫu sạch tốt hơn 50 nghìn mẫu nhiễu. Dành phần lớn thời gian cho làm sạch dữ liệu: loại trùng lặp, thông tin cá nhân, hallucination, format sai.
  2. Learning rate quá lớn. Pre-train dùng khoảng 1e-4; fine-tune full cần nhỏ hơn 10 đến 100 lần (1 đến 5e-5). Với LoRA có thể cao hơn, khoảng 1e-4 đến 3e-4, vì chỉ cập nhật adapter nhỏ.
  3. Quá nhiều epoch. Với dataset dưới 10 nghìn mẫu, 2 đến 3 epoch thường tối ưu. Theo dõi eval loss và dừng sớm khi nó tăng trở lại.
  4. Bỏ qua validation set. Giữ lại 10 đến 20% dữ liệu làm validation, không chỉ để chấm điểm cuối mà để early stopping.
  5. Sai template prompt. Mỗi họ mô hình có template riêng. Fine-tune với template sai khiến mô hình “vỡ”, đôi khi không còn biết dừng.
  6. Chọn LoRA rank sai. r từ 4 đến 8 cho hầu hết tác vụ; r từ 16 đến 64 cho miền rất khác. Rank quá lớn lãng phí; quá nhỏ thì không học đủ.
  7. Không đánh giá trên tác vụ gốc. Fine-tune thường cải thiện tác vụ mục tiêu nhưng làm giảm khả năng khác. Đo trước và sau fine-tune để thấy catastrophic forgetting.
  8. Không khử trùng lặp giữa train và eval. Vài mẫu trùng đã đủ để accuracy ảo tăng cao. Dùng MinHash hoặc cosine similarity để lọc.

Tóm tắt

  • Fine-tuning là huấn luyện thêm mô hình pre-train trên dữ liệu chuyên biệt, tận dụng transfer learning thay vì học từ đầu.
  • Ba tham số quan trọng: số lượng và độ đa dạng dữ liệu, learning rate (nhỏ, khoảng 1 đến 5e-5), số epoch (ít, khoảng 2 đến 5).
  • Catastrophic forgetting: lr lớn hoặc fine-tune quá lâu làm mô hình quên kiến thức cũ. Luôn đo lại trên tác vụ gốc.
  • PEFT là mặc định hiện đại: LoRA, Adapter, Prefix Tuning.
  • LoRA: ΔW chia thành hai ma trận hạng thấp B·A. Tiết kiệm VRAM đáng kể và cho phép nhiều adapter cùng một backbone.
  • Quy trình cho LLM làm theo chỉ dẫn: pre-train, SFT, rồi DPO hoặc RLHF để căn chỉnh.

Continue the module

Lesson 1 of 8