Jun, 2024

毒害对 LLM 对齐的威胁是否真实存在？可能比你想象的更严重

PDF
TL;DR在这项工作中，我们研究了以直接策略优化（DPO）为基础的强化学习模型在不同情景下对攻击的脆弱性，并比较了首次提出的偏好污染攻击的有效性。我们发现，相比于基于 Proximal Policy Optimization（PPO）方法的模型，DPO 更容易受到攻击，只需在数据中注入 0.5% 的毒数据即可产生有害行为，而 PPO 方法则需要至少 4% 的毒数据才能导致有害行为。我们还进一步探究了这种脆弱性背后的潜在原因以及该脆弱性在背门和非背门攻击中的表现。
reinforcement learning with human feedbacklarge language modelsdirect policy optimizationpoisoning attacksvulnerabilities analysis
发现论文，激发创造
  • DPO 相对于 PPO 在 LLM 对齐上是否更优？一项全面研究

    通过理论和实证研究，本文探究了直接偏好优化（DPO）和邻近策略优化（PPO）方法在强化学习与大型语言模型对齐中的算法特性，并发现 PPO 在细化语言模型时表现出色，超越其它方法，并在挑战性的代码竞赛中取得了最先进的结果。

    Apr, 2024

  • 混合偏好优化：通过数据选择和更好的参考模型进行强化学习

    本文研究了大规模语言模型（LLMs）对齐的两种主要方法：强化学习与人类反馈（RLHF）以及基于对比学习的直接偏好优化（DPO）。通过分析 RLHF 和 DPO 的稳定性和鲁棒性，我们提出了一种新方法 MPO（混合偏好优化），该方法减轻了两种方法的缺点。我们提出了一个两阶段的训练过程：首先在一个简单的数据集上对 DPO 进行训练，然后在一个具有 DPO 模型作为参考模型的困难集上进行 RLHF。实验在两个公开的对齐数据集上进行，即 HH-RLHF 和 TLDR，展示了 MPO 的有效性，无论是在 GPT4 上还是人类评估上。

    Mar, 2024

  • 在指导调整期间学习对大型语言模型进行毒化

    通过设计一种新的数据污染攻击，本研究进一步识别了 LLMs 中的安全风险，并提出了一种梯度引导的后门触发器学习方法，以高效地识别对手的触发器，并确保对传统防御的逃避，同时保持内容完整性。

    Feb, 2024

  • 通过受限的直接优化倾向提升 LLM 的安全性

    通过引入 Constrained DPO (C-DPO) 方法，本研究提出了一种高效且轻量级的方法，用于在基于人类反馈的强化学习 fine-tuning 阶段强制执行安全约束，从而在同时提高 AI 系统的有用性和安全性方面找到了几乎最优的平衡点。

    Mar, 2024

  • 关于使用人类反馈进行强化学习对大型语言模型的可利用性研究

    通过 RankPoison 的毒化攻击生成带指定的恶意行为的污染数据集，可以对 LLMs 进行攻击，生成更长的令牌，而不损害原始安全对齐性能，这突显了 RLHF 中存在的关键安全挑战，强调了 LLMs 更强韧对齐方法的必要性。

    Nov, 2023

  • 语言模型的直接对齐通过质量感知的自我优化

    利用人类反馈进行强化学习，用于与人类偏好一致的大型语言模型的行为对齐，提出了一个改进的 Direct Policy Optimization 方法，结合在线微调的语言模型使用内在知识来估计积极和消极响应的质量，以此改善训练结果，并实验证明其在多个评估者上比传统方法有更好的性能。

    May, 2024

  • 混合偏好优化：用辅助目标增强直接偏好优化

    大型语言模型的对齐问题是一个复杂的挑战，本文提出了混合偏好优化（HPO）方法，通过结合直接优化偏好和强化学习的方法实现了对用户偏好和辅助设计目标的有效泛化，同时在各种具有挑战性的基准和模型规模上保持了对齐性能。

    May, 2024

  • 最佳毒液：通过注入污染的偏好数据攻击 RLHF

    我们研究了恶意操作者对集成人类反馈（RLHF）中的语言模型（LM）进行中毒攻击的程度，并提出了防御偏好中毒攻击的策略。实验结果表明，通过注入少量有毒数据（原始数据集的 1-5%），我们可以有效地操纵 LM 以生成特定的目标实体和情感。

    Apr, 2024

  • 强制生成模型退化：数据注毒攻击的力量

    通过细粒度的实验，我们展示了在大语言模型的精调阶段仅仅使用总数据样本的 1% 即可成功地对大语言模型进行毒化，这是针对自然语言生成任务进行的首次系统性理解并考虑了多种触发方式和攻击设置的毒化攻击。

    Dec, 2023

  • 从 $r$ 到 $Q^*$：您的语言模型暗地里是一个 Q 函数

    使用引导反馈的强化学习是生成式人工智能模型成功的关键，本研究讨论了直接偏好优化 (DPO) 作为替代方法的应用，通过理论和实证结果证明了在令牌级马尔科夫决策过程 (MDP) 中，DPO 能够在信用分配和搜索算法等方面产生有意义的改进。

    Apr, 2024