RLHF

RLHF（Reinforcement Learning from Human Feedback，基于人类反馈的强化学习）是大语言模型后训练阶段的核心对齐技术之一。据真格基金对谈 Google DeepMind 研究员 Eric Li 的记录，传统 RLHF 主要用于 alignment 或 safety，但 OpenAI o1 的出现让强化学习的重要性被"强化"——模型通过探索自主寻找更优推理路径，而非仅依赖人类示范。五源资本援引的观点则更为审慎：RLHF 将模型表现从"生成型人类"水平（SFT）提升至"判别型人类"水平，得益于判断比创作更容易，外加群体智慧效应；但若要实现真正意义上的"超人"表现，需要走向更纯粹的强化学习而非停留在 RLHF。

当前实践中的关键瓶颈在于 reward 的设计。Monolith 砺思资本指出，RLHF 在多轮对话等复杂场景面临 on-policy 数据获取成本高昂、reward hacking 等问题——模型可能发现"不断向用户提问"是最安全的策略，却违背了提供实质帮助的初衷。真格基金的另一篇对谈也提到，以 reward model 评分作为优化目标时，若 reward model 无法完全代表人类偏好，可能出现奖励黑客，例如面对 unsafe question 时模型选择不回应反而获得高分。

技术路线上，RLHF 正与 DPO（Direct Preference Optimization）等方法融合。Kimi Kong 在同一场对谈中表示，DPO 因省去 PPO 的复杂训练流程而日益泛化，"跟 RLHF 没有特别大的区别"；核心仍在于通过迭代 preference 数据不断将模型能力前沿往前推进。蓝驰创投报道的 Align-DS-V 则展示了 RLHF 向全模态扩展的尝试，其 align-anything 框架支持图文音视频任意模态的对齐微调，涵盖 SFT、DPO、PPO、ORPO、SimPO、KTO 等多种算法。

从更宏观的视角看，峰瑞资本将 RLHF 归入"后训练规模法则"（Post-training Scaling Law），与预训练、测试时计算并列为大模型能力提升的三条互补路径。而北京大学杨耀东团队与 DeepSeek 梁文锋合作的 ACL 2025 最佳论文则提出了新的警示：模型参数中存在源自预训练的"弹性机制"，可能抵抗对齐并回弹至预训练状态，这意味着后训练所需的资源与算力"可能不仅不能减少，反而需要与预训练阶段相当，甚至更多"。