#preference-optimization

直接偏好优化与 RLHF 在大模型对齐中的实现与权衡

系统对比 DPO 与基于 PPO 的 RLHF 在实现复杂度、训练稳定性、计算开销及最终性能上的差异，聚焦 DPO 如何通过隐式奖励建模将对齐简化为分类损失，并从工程角度分析两种方案在在线服务场景中的关键权衡。