Triển khai thực tế: với các bài cartpole / lunar lander, A2C đơn giản đủ hội tụ trong vài phút trên CPU. Với Atari hay MuJoCo, PPO với vectorized envs (8–32 env song song) là lựa chọn mặc định — libraries tham khảo: Stable Baselines3, CleanRL, RLlib.
Hyperparameters quan trọng cho Actor-Critic: learning rate (3e-4 với Adam là sweet spot), gamma (0.99), GAE lambda (0.95), entropy coef (0.01, decay theo thời gian), value coef (0.5), clip epsilon (0.2 cho PPO), batch size (64–256), epochs per rollout (4–10 cho PPO).
Debug checklist khi Actor-Critic không học: (1) Kiểm tra Critic loss có giảm không — nếu không, Critic có thể stuck. (2) Kiểm tra entropy — nếu rớt về 0 quá nhanh, tăng entropy coef. (3) Kiểm tra advantage scale — nên near-zero-mean, unit-variance sau normalise. (4) Kiểm tra gradient norms — nếu explode, giảm lr hoặc clip mạnh hơn.
RLHF pipeline tổng quan cho LLM: (1) SFT — supervised fine-tune base LLM trên (prompt, response). (2) Reward model — classifier trên (prompt, chosen, rejected) để predict preference. (3) PPO — reward model làm environment, Actor = LLM policy, Critic = value head; GAE + clip 0.2 + KL penalty để không drift khỏi SFT. ChatGPT, Claude, Gemini đều dùng biến thể của pipeline này.