DPO 隐式奖励过拟合：偏好对齐为何压低生成多样性，以及如何缓解
在线客服对话对齐中，DPO 常出现答案越训越像、措辞趋同的现象。文章从隐式奖励的构造出发，解释偏好数据被拟合后策略熵下降的机制，比较 β、length-normalization、IPO、KTO 等缓解手段的适用边界，并给出可观测信号与排查路径。
#RLHF
共 2 篇文章
直接偏好优化与 RLHF 在大模型对齐中的实现与权衡
系统对比 DPO 与基于 PPO 的 RLHF 在实现复杂度、训练稳定性、计算开销及最终性能上的差异，聚焦 DPO 如何通过隐式奖励建模将对齐简化为分类损失，并从工程角度分析两种方案在在线服务场景中的关键权衡。