Mar, 2023

用人类反馈的强化学习的社会影响视角

PDF
TL;DR本文系统地研究了 RLHF 的社会影响，提出了七种 RLHF 的应用方式，分析了其对人类体验 AI 的积极影响，同时也探讨了 RLHF 可能带来的社会道德问题，以及其与人类相互作用的方面。因为 RLHF 引发的关注类似于现有 AI 技术引发的关注，因此需要对 RLHF 的采用进行审慎且有意识的考虑。
reinforcement learning with human feedbacksocial effects of rlhfethical issues of rlhfai interactions with humanitypositive impact of rlhf
发现论文，激发创造
  • 强化学习与人类反馈调查

    深入探讨人机交互技术中基于人类反馈的强化学习（RLHF）的基本原理、应用及其研究趋势。

    Dec, 2023

  • 强化学习从人类反馈中的开放问题与基本限制

    强化学习来自人类反馈是一种训练 AI 系统与人类目标对齐的技术，但其自身存在的问题、局限性以及相关改进技术的概述，以及提出用于改善社会监督的审计和公开标准的重要性。

    Jul, 2023

  • RLHF 揭示：对于 LLMs 的强化学习从人类反馈的关键分析

    通过强化学习原理的角度分析了强化学习来自人类反馈的语言模型的基础，重点关注了奖励模型作为 RLHF 核心组件的建模选择、函数逼近的陷阱，以及它们对训练算法的影响，同时揭示了当前方法的局限性。通过对现有文献的分类评论，我们对 RLHF 的挑战进行了描述，为研究人员和从业者理解 RLHF 的挑战并建立在现有研究的基础上提供参考。

    Apr, 2024

  • 通过人类反馈进行强化学习的 AI 对齐？矛盾和限制

    本文批评性地评估了通过强化学习从反馈中对齐人工智能系统，特别是大规模语言模型，与人的价值观和意图的尝试，包括人的反馈和人工智能的反馈。具体来说，我们展示了广泛追求的诚实、无害和有帮助的对齐目标的不足。通过多学科社会技术批判，我们考察了 RLxF 技术的理论基础和实践实现，揭示了其在捕捉人类伦理复杂性和促进人工智能安全方面的重要局限性。我们强调了 RLxF 目标中固有的张力和矛盾。此外，我们讨论了在关于对齐和 RLxF 的讨论中往往被忽视的道德相关问题，其中包括用户友好与欺骗、灵活性与可解释性、系统安全之间的权衡。我们最后敦促研究人员和从业者在评估 RLxF 的社会技术后果时进行批判性评估，倡导在人工智能开发中采用更细致、反思的方法。

    Jun, 2024

  • 人工智能对齐与社会选择：基本限制与政策影响

    RLHF 使用于 LLMs 中，本文探讨了 RLHF 的限制和关注民主规范方面的政策挑战，同时提出了建立透明投票规则和聚焦特定用户群体的 AI 代理的需求。

    Oct, 2023

  • Safe RLHF: 安全的强化学习从人类反馈中

    利用 Safe Reinforcement Learning from Human Feedback（Safe RLHF）算法，通过训练单独的奖励和成本模型，实现了对大型语言模型（LLMs）在帮助性和无害性上进行人类价值调整，以最大化奖励函数并满足成本约束条件；通过实验证明与现有的值对齐算法相比，Safe RLHF 在减轻有害回应的能力和提高模型性能方面更为优越。

    Oct, 2023

  • 利用人类反馈进行强化学习训练有益且无害的助手

    应用偏好建模和强化学习的方法将语言模型优化为有帮助和无害的助手，对几乎所有的自然语言处理评估表现都有提高，与训练针对特定技能（如 Python 编程和摘要）的方法相容。通过迭代在线模式的训练，每周使用新的人类反馈数据更新偏好模型和强化学习策略，有效改进了数据集和模型。同时，研究了强化学习从人类反馈中学习的鲁棒性和重要性，提出了奖励和策略之间的 KL 散度平方根的近似线性关系。除此之外，对校准、竞争目标和 OOD 检测的使用进行了边缘分析，并将模型与人类作家进行了比较，并提供了使用最新相关工作中出现的提示的模型样本。

    Apr, 2022

  • LLM 时代的强化学习：什么是必要的？什么是需要的？强化学习在 RLHF, Prompting 和更多方面的视角

    最近大型语言模型（LLMs）的最新进展，引起了广泛关注，并导致了成功产品，如 ChatGPT 和 GPT-4。它们在遵循指导和提供无害、有益和诚实（3H）回答方面的熟练程度，主要归功于人类反馈强化学习（RLHF）技术。本文旨在将传统 RL 研究与 LLM 研究中使用的 RL 技术联系起来。通过讨论 RL 的优点，探索为 RLHF 研究带来或贡献的潜在未来方向。

    Oct, 2023

  • HRLAIF：通过 AI 反馈在开放域强化学习中的有用性和无害性改进

    通过使用 AI 反馈进行增强学习（RLAIF）在大型语言模型（LLM）训练的快速策略迭代阶段比通过人类反馈进行增强学习（RLHF）具有更短的注释周期和更低的成本，使其效率更高。本文提出了混合增强学习来自 AI 反馈（HRLAIF）方法，通过增强 AI 注释的准确性，使模型在训练过程中的帮助更可靠，并且通过 AI 进行红队行动，进一步提高模型的无害性。与 RL 之前的策略模型相比，HRLAIF 方法在满意率上实现了 2.08% 的增加，有效解决了基本 RLAIF 后满意率下降 4.58% 的问题。

    Mar, 2024

  • 多轮强化学习从人类偏好反馈中学习

    本研究通过发展新的强化学习方法，解决了基于喜好反馈的多轮对话中规划和多轮互动问题，通过实验证明该算法在教育对话环境中超越了基线模型，同时在含有明确奖励的环境中也能达到基于奖励强化学习模型的性能

    May, 2024