偏好优化训练课：DPO 的闭式解与它的三个隐性代价，GRPO 为什么敢不要 critic
· 阅读需 14 分钟
SFT 之后模型的分布已经很窄了：它学会了"怎么回答"，但没学会"哪个回答更好"。偏好优化补的就是这一步——给定同一个 prompt 下的一对回答（chosen / rejected），把概率质量往人类偏好的那一侧搬。
2023 年之后这件事有两条主流路线：DPO 系列（DPO / IPO / ORPO / SimPO / KTO）和在线 RL 系列（PPO / GRPO / RLOO）。前者把 RLHF 化简成一次监督式训练，工程上便宜到可以在单机 8 卡上跑；后者保留了探索，效果上限更高但难调。这篇不写综述，只算三笔账：DPO 到底在优化什么、它偷偷付了哪些代价、GRPO 去掉 critic 之后靠什么撑住方差。每笔账都配可直接运行的数值实验。