Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.
Phương pháp alignment đơn giản hơn RLHF, tối ưu hóa trực tiếp từ dữ liệu sở thích mà không cần reward model.
lesson98 minHuấn luyện & AlignmentAI Researcher
Dự đoán
DPO (Rafailov et al., 2023) chứng minh một kết quả kinh điển: bài toán tối ưu RLHF có nghiệm dạng đóng, trong đó reward ngầm được viết hoàn toàn qua log-ratio giữa policy và reference. Từ đó, ta có thể huấn luyện chỉ bằng một loss giống classification trên cặp preference, không cần reward model tách biệt.
Ẩn dụ
Hãy tưởng tượng bạn đang dạy một đầu bếp mới biết nấu món nào hợp khẩu vị khách hàng. Có hai cách:
Cách RLHF: bạn thuê một giám khảo ẩm thực (reward model), cho họ ăn hàng ngàn món và học cách chấm điểm; rồi đầu bếp nấu → giám khảo chấm → đầu bếp học theo điểm → lặp lại hàng vạn lần. Vòng lặp này tốn thời gian, và nếu giám khảo bị "hack" (ví dụ chỉ thích món có nước sốt nhiều), đầu bếp sẽ tưới sốt vào mọi thứ.
Cách DPO: bạn đưa đầu bếp xem từng cặp món đã có xếp hạng ("món A được khách ưa hơn món B") và dạy thẳng: "hãy viết công thức sao cho xác suất ra món A cao hơn xác suất ra món B". Không cần giám khảo trung gian, không cần vòng lặp RL bất ổn định. Đơn giản, trực tiếp, và điều bất ngờ là: về mặt toán học, nó tương đương với cách RLHF khi tối ưu hoàn hảo.
Cái hay của DPO là nó hé lộ một sự thật sâu sắc về alignment: toàn bộ vòng lặp RL phức tạp thực ra chỉ là cách gián tiếp để làm một việc đơn giản — đẩy xác suất y_chosen lên và y_rejected xuống, có kiểm soát bởi mô hình tham chiếu. Khi hiểu được cấu trúc ẩn này, chúng ta có thể làm thẳng thay vì vòng vo.
RLHF và DPO
RLHF vs DPO — So sánh pipeline
RLHF
3 pha, 3 mô hình (SFT, RM, Policy)
Vòng lặp PPO — bất ổn, nhiều HP
Có khả năng exploration online
Rủi ro reward hacking cao
DPO
2 pha, 1 mô hình + 1 π_ref đóng băng
Ổn định như supervised learning
Bị giới hạn bởi dataset preference
Triển khai nhanh, ít hyperparameter
Khoảnh khắc Aha
Bài toán RLHF tưởng như bắt buộc phải giải bằng RL phức tạp, nhưng thực ra có nghiệm dạng đóng (closed-form). DPO khai thác nghiệm ấy: reward ngầm ẩn đã được mã hoá hoàn toàn trong tỷ lệ log-xác suất giữa policy và reference. Không có reward model bí ẩn nào cả — chính mô hình là reward model của chính nó.
Thử thách
DPO đẩy xác suất y_chosen lên (r_w > 0) và xác suất y_rejected xuống (r_l < 0) so với π_ref. Khi r_w − r_l > 0 và đủ lớn, mô hình đã 'học' được cặp preference. π_ref đóng băng — không bao giờ được cập nhật.
Đây là failure mode nổi tiếng của DPO. Vì sigmoid không có điểm dừng tự nhiên, loss cứ giảm khi margin tăng, và cách rẻ nhất để tăng margin là đẩy log π_θ(y_l) về −∞. Kết quả: mô hình 'sợ' các pattern trong y_rejected tới mức quên cả ngôn ngữ tự nhiên. Giải pháp: early stopping, giảm lr, hoặc chuyển sang IPO.
Từ RLHF đến DPO
DPO (Direct Preference Optimization) là thuật toán alignment được Rafailov et al. công bố năm 2023. Nó biến bài toán RLHF thành một bài toán supervised learning đơn giản, đạt cùng mục tiêu alignment nhưng không cần reward model riêng, không cần PPO và không cần vòng lặp RL bất ổn định.
Xuất phát từ bài toán RLHF:
πθmaxEx∼D,y∼πθ[R(x,y)]−βDKL(πθ∥πref)
Lời giải closed-form nổi tiếng của bài này (với R cố định) là:
π∗(y∣x)=Z(x)πref(y∣x)exp(βR(x,y))
Đảo ngược quan hệ trên, ta thu được reward ngầm ẩn viết qua policy:
R(x,y)=βlogπref(y∣x)πθ(y∣x)+βlogZ(x)
Ghép với mô hình Bradley–Terry cho preference (xác suất y_w được ưa hơn y_l bằng sigmoid của hiệu reward), thành phần log Z(x) triệt tiêu — và ta thu được hàm loss DPO cốt lõi:
β đóng vai trò KL coefficient. β nhỏ cho phép π_θ lệch mạnh khỏi π_ref; β lớn giữ chặt π_θ gần π_ref. Giá trị điển hình là 0.1–0.5.
π_ref thường là bản sao đông cứng của checkpoint SFT. Không được cập nhật — nó là "điểm neo" để loss có ý nghĩa KL.
Gradient của loss có dạng trực quan: phần gradient đẩy y_chosen lên và kéo y_rejected xuống được nhân với một hệ số phụ thuộc vào "mức độ mô hình đã hiểu sai cặp này". Cặp dễ → gradient nhỏ; cặp mô hình đang sai → gradient lớn.
Vì sao log Z(x) triệt tiêu
Theo mô hình Bradley–Terry: P(yw≻yl∣x)=σ(R(x,yw)−R(x,yl)). Thay biểu thức R(x,y)=βlogπref(y∣x)πθ(y∣x)+βlogZ(x) vào hiệu:
Số hạng βlogZ(x) xuất hiện ở cả hai phía và tự triệt tiêu. Nhờ đó, ta không bao giờ cần tính partition function Z(x) — vốn không có dạng đóng với LLM. Đây chính là lý do DPO trở nên khả thi trong thực tế.
Các biến thể hậu DPO
DPO khởi nguồn cho cả một họ thuật toán preference-direct. Vài cái tên đáng chú ý — phần dưới sẽ đi sâu từng biến thể:
IPO (Identity Preference Optimization): Thay log-sigmoid bằng bình phương của margin quanh 1/(2β), tạo điểm dừng tự nhiên, ít overfit hơn khi dataset có noise.
KTO (Kahneman–Tversky Optimization): Không cần cặp chosen/rejected — chỉ cần label nhị phân "good" hoặc "bad" trên từng phản hồi. Dễ thu thập dữ liệu hơn nhiều.
ORPO (Odds Ratio Preference Optimization): Kết hợp SFT và preference vào một loss, loại bỏ hoàn toàn bước SFT tách biệt.
SimPO (Simple Preference Optimization): Loại bỏ π_ref bằng cách chuẩn hoá log-prob theo độ dài phản hồi — giảm chi phí bộ nhớ đi một nửa.
IPO
IPO (Azar et al. 2023) nhận thấy điểm yếu cốt lõi của DPO: log-sigmoid không bao giờ "no" khi margin đã lớn. Gradient tiếp tục đẩy margin tới vô cực, đặc biệt trên những cặp đã học được. Kết quả: mô hình có thể reward-hack preference data bằng cách đẩy y_rejected xuống âm vô hạn.
Loss IPO thay log-sigmoid bằng bình phương quanh 1/(2β):
Đạo hàm của (z − c)² bằng 0 chính xác khi z = c. Nhờ vậy IPO có điểm dừng tự nhiên — khi margin đạt 1/(2β), gradient bằng 0. Trong thực tế dùng IPO với β = 0.1 cho margin mục tiêu ≈ 5, đủ để phân biệt cặp mà không cần phóng đại. IPO đặc biệt đáng dùng khi preference data có noise > 10% (annotator bất đồng).
TRL hỗ trợ IPO bằng tham số loss_type="ipo" trong DPOConfig — không cần đổi dataset, không cần đổi pipeline. Chuyển đổi chỉ mất 1 dòng code.
KTO
KTO (Ethayarajh et al. 2024) lấy cảm hứng từ prospect theory của Kahneman và Tversky: con người không cảm nhận tiện ích tuyến tính mà có hàm giá trị lồi-lõm, với điểm neo là status quo. Áp vào LLM: mỗi phản hồi được đánh giá so với một baseline, rồi "thưởng" cho phản hồi tốt và "phạt" cho phản hồi xấu theo hàm giá trị phi tuyến.
Điểm đột phá về mặt dữ liệu: KTO chỉ cần mỗi mẫu là cặp (prompt, response, label ∈ {good, bad}). Không cần hai phản hồi ghép cặp nhau — rất hợp với log production (thumbs-up/thumbs-down) và feedback cực kỳ rẻ để thu thập.
LKTO=λDEyD[1−v(r(x,yD)−z0)]
Ở đây v(⋅) là hàm giá trị Kahneman–Tversky (sigmoid dịch chuyển), z0 là điểm neo xấp xỉ KL trung bình giữa π_θ và π_ref, λD là trọng số khác nhau cho mẫu tốt vs xấu — thường λbad>λgood để phản ánh loss aversion.
Benchmark (theo nguồn bài, chưa kiểm chứng): trên UltraFeedback, KTO với chỉ 1 label/mẫu đạt AlpacaEval2 ngang DPO với pair preference — tức là tiết kiệm được 50% chi phí annotation mà không mất chất lượng.
SimPO
SimPO (Meng et al. 2024) đặt câu hỏi: vì sao cần π_ref khi ta có thể chuẩn hoá log-prob theo độ dài phản hồi? Thay vì reward ngầm βlog(πθ/πref), SimPO dùng:
rSimPO(x,y)=∣y∣βlogπθ(y∣x)−γ
Hai thay đổi: (1) chia cho ∣y∣ để triệt tiêu length bias vốn ngầm có trong DPO; (2) trừ một margin γ cố định để tạo khoảng cách dương tối thiểu giữa chosen và rejected. Loss vẫn là log-sigmoid của hiệu reward, nhưng không cần mô hình tham chiếu — tiết kiệm ~50% VRAM.
Điểm đánh đổi: không còn KL penalty tự động, nên phải cẩn thận với số epoch và learning rate. SimPO thường không chịu được training dài như DPO — nhưng trong nhiều benchmark 2024, SimPO tune tốt lại vượt DPO trên AlpacaEval và Arena-Hard. Llama-3-8B SimPO là một trong các open model mạnh nhất 8B tại thời điểm công bố.
ORPO
ORPO (Hong et al. 2024) nhận xét: pipeline DPO vẫn cần SFT trước, rồi mới DPO — hai pha riêng. Vì sao không gộp? ORPO đề xuất một loss duy nhất:
LORPO=LSFT(yw)+λ⋅LOR(yw,yl)
Trong đó LOR=−logσ(logoddsθ(yw∣x)−logoddsθ(yl∣x)) — một dạng logistic regression trên odds ratio thay vì log-ratio probability. Ưu điểm: chỉ cần 1 mô hình (không cần π_ref), 1 pha huấn luyện, bắt đầu từ base model pretrained. Phù hợp khi bạn muốn alignment nhanh mà không có sẵn SFT checkpoint.
Thí nghiệm trên Mistral-7B (theo nguồn bài, chưa kiểm chứng): ORPO một pha đạt kết quả ngang SFT+DPO hai pha, nhưng tổng thời gian huấn luyện ít hơn khoảng 30%. ORPO đặc biệt hấp dẫn với team có budget compute hạn chế.
So sánh nhanh và length bias
Bảng quyết định thực dụng:
DPO gốc: Dữ liệu sạch, preference rõ ràng (annotator đồng thuận > 90%). Nghiên cứu hoặc production ổn định.
IPO: Dữ liệu noise cao (UltraFeedback, dữ liệu auto-labeled bằng AI). Muốn tránh degenerate khi train lâu.
KTO: Chỉ có thumbs-up / thumbs-down, không có cặp preference. Log production là nguồn dữ liệu chính.
SimPO: Budget VRAM chặt (ví dụ chỉ có 1x A100). Cần tốc độ huấn luyện nhanh. Chấp nhận tuning cẩn thận.
ORPO: Không muốn/không thể tách pha SFT. Muốn alignment trong 1 lần chạy duy nhất.
Code mẫu và sai lầm phổ biến
dpo_trl_training.py — HuggingFace TRL
# Tham khảo: https://huggingface.co/docs/trl/dpo_trainerimporttorchfromdatasetsimportload_datasetfromtransformersimportAutoModelForCausalLM,AutoTokenizerfromtrlimportDPOTrainer,DPOConfig# 1. Tải mô hình SFT và bản sao làm referencemodel_id="Qwen/Qwen2-0.5B-SFT"# mô hình đã qua SFTmodel=AutoModelForCausalLM.from_pretrained(model_id,torch_dtype=torch.bfloat16,device_map="auto")ref_model=AutoModelForCausalLM.from_pretrained(model_id,torch_dtype=torch.bfloat16,device_map="auto")tokenizer=AutoTokenizer.from_pretrained(model_id)# 2. Dataset preference: mỗi mẫu có 3 trường {prompt, chosen, rejected}dataset=load_dataset("trl-lib/ultrafeedback_binarized",split="train")# 3. Cấu hình DPOConfigtraining_args=DPOConfig(output_dir="./qwen-dpo",num_train_epochs=1,per_device_train_batch_size=2,gradient_accumulation_steps=8,learning_rate=5e-7,lr_scheduler_type="cosine",warmup_ratio=0.1,beta=0.1,# β của DPO — điển hình 0.1loss_type="sigmoid",# "sigmoid" = DPO gốc; "ipo" = IPO; "kto_pair" = KTO pairmax_length=1024,max_prompt_length=512,bf16=True,logging_steps=10,save_strategy="epoch",report_to="tensorboard",)# 4. Trainer — không cần reward model, không cần PPOtrainer=DPOTrainer(model=model,ref_model=ref_model,args=training_args,train_dataset=dataset,tokenizer=tokenizer,)trainer.train()trainer.save_model("./qwen-dpo/final")# Log ra: loss/dpo, rewards/chosen, rewards/rejected, rewards/margin, rewards/accuracies
Trong thực tế, DPO là lựa chọn mặc định cho hầu hết team alignment có dữ liệu preference sẵn. Llama 3, Zephyr, Tulu 2, Mistral Instruct — tất cả đều dùng DPO hoặc biến thể của nó. RLHF với PPO chỉ còn giữ vai trò trong các bài toán thực sự cần exploration (ví dụ reasoning dài, code). Với mọi use case alignment tiêu chuẩn, DPO là lựa chọn đầu tiên nên thử.
Tóm tắt
DPO biến pipeline RLHF 3 pha thành 2 pha (SFT → DPO) — không cần reward model riêng, không cần PPO.
Dữ liệu: bộ ba (prompt, y_chosen, y_rejected) từ xếp hạng con người hoặc AI.
Loss: log-sigmoid của margin giữa reward ngầm y_chosen và y_rejected, với reward ngầm là β·log(π_θ/π_ref).
β đóng vai trò KL coefficient: nhỏ → cập nhật mạnh, lớn → thận trọng; điển hình 0.1–0.5.
Thất bại tiêu biểu: đẩy log π(y_rejected) xuống −∞ khi train lâu — khắc phục bằng IPO, early stopping, lr thấp.
Nên chọn DPO khi có preference data sẵn; chọn RLHF/GRPO khi bài toán cần exploration thực sự (reasoning, code).