Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.
Phương pháp tối ưu trực tiếp chính sách hành động bằng gradient ascent trên phần thưởng kỳ vọng
lesson120 minHọc tăng cườngAI Researcher
Dự đoán
Q-Learning: output Q cho mỗi action rời rạc → action liên tục phải discretize (mất thông tin). Policy Gradient: output mean + std của Gaussian → sample action liên tục trực tiếp. Tự nhiên cho robot, xe tự lái, bất kỳ action space liên tục nào.
Khoảnh khắc Aha
Q-Learning: học bản đồ giá trị rồi suy ra đường đi. Policy Gradient: học trực tiếp cách đi. Giống học lái xe: Q-Learning = học giá trị mỗi ngã tư rồi tính đường. PG = học trực tiếp phản xạ (bao nhiêu độ, nhanh/chậm). PG tự nhiên hơn cho hành động liên tục!
Thử thách
Baseline subtraction: thay vì gradient = G_t · ∇ log π, dùng (G_t − b) · ∇ log π. Nếu b = mean(G), action tốt hơn trung bình → gradient dương (tăng xác suất). Action tệ → gradient âm (giảm). Không thay đổi expected gradient nhưng variance giảm 50–90%!
Khi p(action) tiến sát 1 thì gradient của action còn lại gần bằng 0 — policy không thể thoát khỏi cực trị cục bộ. Thực hành tốt: cộng thêm entropy bonus β · H(π) vào objective để giữ một chút exploration, đặc biệt khi môi trường non-stationary.
Định nghĩa và định lý
Policy Gradient tối ưu trực tiếp policy πθ(a∣s) bằng gradient ascent trên expected return. Trái ngược với Q-Learning (học value rồi suy ra policy), PG học policy trực tiếp. Kết hợp với một critic ta được Actor-Critic, và biến thể PPO/GRPO hiện là xương sống của RLHF cho các mô hình ngôn ngữ.
Policy Gradient Theorem:
∇θJ(θ)=Eπθ[t=0∑T∇θlogπθ(at∣st)⋅Gt]
REINFORCE với baseline:
∇θJ(θ)=E[∇θlogπθ(at∣st)⋅(Gt−b)]
Advantage function là lựa chọn baseline phổ biến nhất:
importtorchimporttorch.nnasnnimporttorch.distributionsasdistclassPolicyNetwork(nn.Module):def__init__(self,state_dim:int,action_dim:int):super().__init__()self.net=nn.Sequential(nn.Linear(state_dim,128),nn.ReLU(),nn.Linear(128,128),nn.ReLU(),nn.Linear(128,action_dim),)defforward(self,state:torch.Tensor)->torch.Tensor:logits=self.net(state)returntorch.softmax(logits,dim=-1)deftrain(env,episodes:int=1000,gamma:float=0.99,lr:float=3e-4):state_dim=env.observation_space.shape[0]action_dim=env.action_space.npolicy=PolicyNetwork(state_dim,action_dim)optim=torch.optim.Adam(policy.parameters(),lr=lr)forepinrange(episodes):state,_=env.reset()log_probs,rewards=[],[]done=Falsewhilenotdone:s=torch.as_tensor(state,dtype=torch.float32)probs=policy(s)d=dist.Categorical(probs)a=d.sample()log_probs.append(d.log_prob(a))state,r,terminated,truncated,_=env.step(a.item())rewards.append(r)done=terminatedortruncated# Tính discounted returnsreturns,G=[],0.0forrinreversed(rewards):G=r+gamma*Greturns.insert(0,G)returns_t=torch.tensor(returns,dtype=torch.float32)# Baseline subtraction: trừ mean + chuẩn hoá → variance reductionreturns_t=(returns_t-returns_t.mean())/(returns_t.std()+1e-8)# Policy gradient loss — dấu âm vì ta gradient-DESCENT trên -Jloss=-(torch.stack(log_probs)*returns_t).sum()optim.zero_grad()loss.backward()torch.nn.utils.clip_grad_norm_(policy.parameters(),1.0)optim.step()ifep%50==0:print(f"ep={ep:4d} return={sum(rewards):7.2f} "f"len={len(rewards):3d} grad_norm_clipped=1.0")
NumPy — REINFORCE đồ chơi cho corridor
importnumpyasnpdefrun_episode(policy,corridor_len=11,goal=5,max_steps=20):pos,traj=0,[]for_inrange(max_steps):a=np.random.choice(2,p=policy)# 0=left, 1=rightnew_pos=max(0,pos-1)ifa==0elsemin(corridor_len-1,pos+1)r=1.0ifnew_pos==goalelse-0.04traj.append((pos,a,r))pos=new_posifpos==goal:breakreturntrajdefreinforce_update(policy,traj,lr=0.35,gamma=0.95):# Tính return từng stepG,returns=0.0,[]for_,_,rinreversed(traj):G=r+gamma*Greturns.insert(0,G)returns=np.array(returns)advantages=returns-returns.mean()# baseline = meanp=policy.copy()for(_,a,_),advinzip(traj,advantages):# Gradient của log-softmax 2 lớpp[a]+=lr*adv*(1-p[a])p[1-a]-=lr*adv*p[1-a]p=np.clip(p,0.02,0.98)p/=p.sum()returnppolicy=np.array([0.5,0.5])forepinrange(200):traj=run_episode(policy)policy=reinforce_update(policy,traj)ifep%20==0:print(f"ep={ep:3d} π(right)={policy[1]:.3f} steps={len(traj)}")
Log-prob trick
Vì sao gọi là "log-prob trick"? Ta biến gradient của một kỳ vọng (khó tính) thành kỳ vọng của một gradient (sample-able). Điểm mấu chốt:
∇θπθ(a∣s)=πθ(a∣s)⋅∇θlogπθ(a∣s)
Nhờ đó ta có thể sample action theo policy, lấy gradient của log-prob rồi cân bằng bằng weight (chính là return hoặc advantage). Đây là cách duy nhất để huấn luyện khi environment không khả vi — tức gần như mọi bài toán RL thực tế (game engines, simulators vật lý, LLM decoding, ...).
Vì sao baseline không làm lệch gradient
Cho một baseline b(s) chỉ phụ thuộc state (không phụ thuộc action). Ta có:
Vì vậy trừ baseline vẫn giữ unbiased estimator, chỉ làm giảm variance. Baseline tối ưu (variance-minimising) có dạng weighted average các returns, thường được xấp xỉ bằng một value-network Vϕ(s) học song song với policy — chính là Actor-Critic.
So sánh REINFORCE, A2C, PPO, GRPO
REINFORCE là bản gốc: dùng Monte Carlo return, update 1 lần/episode, variance rất cao, sample ít. Ưu điểm duy nhất là công thức đơn giản — bạn có thể viết lại chỉ với NumPy như ví dụ phía trên.
A2C / A3C (Advantage Actor-Critic): dùng Critic Vϕ làm baseline, update theo n-step TD hoặc Generalised Advantage Estimation. Variance thấp hơn, sample efficient hơn. A3C (asynchronous) từng là state-of-the-art trước khi PPO xuất hiện.
PPO (Schulman 2017): thêm clipping min(rtAt,clip(rt,1−ϵ,1+ϵ)At) . Cho phép update nhiều epoch/batch. Đây là default của OpenAI, DeepMind cho RL control và cũng là thuật toán gốc cho RLHF tại OpenAI.
GRPO (DeepSeek 2024): variant của PPO dành cho RLHF/LLM — bỏ critic, dùng group-mean làm baseline. Đơn giản hơn, ít memory hơn, phù hợp khi sample theo prompt. DeepSeek R1, Qwen 2.5, và nhiều mô hình mở khác hiện dùng GRPO thay cho PPO truyền thống.
TRPO (Schulman 2015) là tiền thân của PPO: dùng trust region dựa trên KL-divergence, giải bằng conjugate gradient. Tốt về lý thuyết nhưng phức tạp triển khai — PPO đơn giản hoá bằng cách chỉ clip ratio thay vì giải toán tối ưu có ràng buộc.
Từ REINFORCE đến ChatGPT
Khi nào Policy Gradient thất bại? Khi reward cực kỳ thưa thớt (ví dụ Montezuma's Revenge — phần thưởng chỉ xuất hiện sau hàng trăm bước), mean return ≈ 0, advantage cũng ≈ 0, và policy không có tín hiệu để học. Giải pháp: thêm intrinsic reward (curiosity), hierarchical RL, hoặc imitation learning để bootstrap.
Liên hệ với Maximum Likelihood: nếu bạn gán weight cho mỗi trajectory theo return của nó và cực đại hoá log-likelihood có trọng số, bạn sẽ ra đúng công thức REINFORCE. Đây là góc nhìn "RL = weighted supervised learning" mà nhiều paper RLHF khai thác (ví dụ RWR, AWR, DPO đều dựa trên ý tưởng này).
Tại sao không dùng thẳng gradient của reward? Reward thường không khả vi theo θ — environment là hộp đen. Ta chỉ quan sát samples chứ không có ∇θR(s,a). Policy Gradient Theorem là mẹo toán để đẩy gradient vào trong kỳ vọng: ∇Eπ[R]=Eπ[∇logπ⋅R] . Mẹo này còn gọi là "log-derivative trick" hoặc "score function estimator" — xuất hiện ở khắp nơi: variational inference, reparameterization trick, REBAR, Gumbel-softmax...
Gợi ý đọc thêm (pháp lý tinh thần): Sutton & Barto chương 13, Spinning Up của OpenAI, và paper gốc PPO. Với LLM: InstructGPT paper, DeepSeek-R1 technical report, và "Secrets of RLHF" series. Nếu thích thực hành, CleanRL (repo của Shengyi Huang) có các file single-file cho REINFORCE, PPO, GRPO — đọc một lần hiểu toàn bộ pipeline.
Công thức bạn nên thuộc lòng:∇θJ(θ)=E[∇θlogπθ(a∣s)⋅Aπ(s,a)] . Mọi thuật toán PG hiện đại (A2C, PPO, SAC-discrete, GRPO) đều bắt đầu từ đây rồi chỉ thay đổi cách ước lượng advantage Aπ và cách giới hạn bước update.
Tóm tắt
Policy Gradient học TRỰC TIẾP π(a|s), không qua Q-value — tự nhiên cho action liên tục.
REINFORCE: sample episode → tính return G_t → update θ theo ∇ log π · G_t.
Baseline subtraction: trừ mean return, giảm variance 50–90% mà KHÔNG thay đổi expected gradient.
On-policy: mỗi gradient step chỉ dùng dữ liệu từ policy hiện tại — kém sample-efficient hơn off-policy (DQN).
Actor-Critic: dùng Critic V_φ(s) làm baseline — biến REINFORCE thành A2C/PPO, ổn định hơn nhiều.
PPO/GRPO (với clipping và trust-region) là xương sống của RLHF hiện đại cho ChatGPT, Claude, Gemini.