Dự đoán
Câu hỏi đặt ra: vì sao parameter-efficient fine-tuning (LoRA, Adapter, Prefix) đã thay thế full fine-tuning trong hầu hết ứng dụng thực tế?
Evaluating routing across providers.
AI Builder
Quá trình huấn luyện thêm mô hình đã pre-train trên dữ liệu chuyên biệt để thực hiện tác vụ cụ thể.
Câu hỏi đặt ra: vì sao parameter-efficient fine-tuning (LoRA, Adapter, Prefix) đã thay thế full fine-tuning trong hầu hết ứng dụng thực tế?
| Phương pháp | Trainable | Ý tưởng |
|---|---|---|
| Full fine-tuning | 100% | Cập nhật toàn bộ trọng số |
| LoRA | Khoảng 0,1 đến 1% | Học hai ma trận hạng thấp cạnh trọng số đóng băng |
| Adapter | Vài phần trăm | Chèn module MLP nhỏ giữa các lớp |
| Prefix / Prompt tuning | Rất ít | Học chuỗi vector đầu vào, không đụng trọng số |
Theo nguồn bài, LoRA chỉ dùng 0,1 đến 1% tham số đã đạt khoảng 99% accuracy của full fine-tuning (cần kiểm chứng với từng tác vụ). Đường cong accuracy theo số tham số học bão hoà rất sớm.
Tham chiếu theo nguồn bài: full fine-tuning trên LLaMA 7B cần khoảng 80 đến 100 GB VRAM với fp16 và Adam. LoRA có thể chạy trên một GPU 24 GB. QLoRA đẩy xuống dưới 16 GB (con số ước lượng).
Fine-tuning không phải dạy mô hình kiến thức mới từ con số 0, mà là kích hoạt và chuyên biệt hoá kiến thức mà nó đã biết. Giống bác sĩ đa khoa đã hiểu cơ thể người, chỉ cần học thêm chuyên khoa tim mạch thay vì học lại từ năm nhất.
Điểm then chốt của PEFT: cập nhật cần thiết ΔW có rank hiệu dụng rất thấp. Phần kiến thức mới mà mô hình cần học thực ra rất nhỏ, và LoRA khai thác điều đó để tiết kiệm phần lớn bộ nhớ mà vẫn giữ gần như toàn bộ chất lượng.
Fine-tuning là huấn luyện thêm một mô hình đã pre-train trên tập dữ liệu chuyên biệt nhỏ hơn, để thích ứng mô hình với tác vụ hoặc lĩnh vực cụ thể:
θ được khởi tạo từ trọng số pre-train thay vì ngẫu nhiên. Đây là sức mạnh của transfer learning. So với prompt engineering, fine-tuning thay đổi trọng số mô hình vĩnh viễn.
Thay vì học toàn bộ ΔW ∈ ℝ^(d×d), LoRA giả định ΔW có rank thấp và phân rã:
Trong forward pass: h = Wx + BAx. Sau khi fine-tune, có thể gộp W' = W + BA để không tăng chi phí suy luận.
from transformers import AutoModelForCausalLM, Trainer, TrainingArguments
from datasets import load_dataset
# Tải mô hình đã pre-train
model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-3-8B")
# Chuẩn bị dữ liệu chuyên biệt
dataset = load_dataset("json", data_files="medical_qa.jsonl")
# Fine-tune với learning rate nhỏ (tránh phá vỡ kiến thức cũ)
args = TrainingArguments(
output_dir="./llama-medical",
learning_rate=2e-5, # Nhỏ hơn pre-training 10-100x
num_train_epochs=3, # Ít epoch tránh overfitting
per_device_train_batch_size=4,
warmup_ratio=0.03,
lr_scheduler_type="cosine",
gradient_checkpointing=True, # Tiết kiệm VRAM
bf16=True, # Mixed precision
)
trainer = Trainer(model=model, train_dataset=dataset["train"], args=args)
trainer.train()
trainer.save_model()from transformers import AutoModelForCausalLM
from peft import LoraConfig, get_peft_model, TaskType
# Tải backbone và "đóng băng" trọng số
model = AutoModelForCausalLM.from_pretrained(
"meta-llama/Llama-3-8B",
load_in_4bit=True, # → QLoRA: backbone 4-bit, adapter fp16
)
# Chèn LoRA adapter
lora_config = LoraConfig(
task_type=TaskType.CAUSAL_LM,
r=8, # rank — càng lớn càng nhiều tham số
lora_alpha=16, # scaling
lora_dropout=0.05,
target_modules=["q_proj", "v_proj"], # chỉ attention Q, V
)
model = get_peft_model(model, lora_config)
# Chỉ 0.1–0.3% tham số được học
model.print_trainable_parameters()
# → trainable params: 8,388,608 || all params: 8,038,274,048
# || trainable%: 0.104
# Phần còn lại giống Trainer thông thường:
trainer.train()
model.save_pretrained("./llama-medical-lora") # ~65 MB, không phải 14 GB!