May, 2024

DeTox: 模型编辑的有毒子空间投影

PDF
TL;DR通过因子分析理论，引入无需调优的对齐替代方案（DeTox），该方案通过从模型的参数空间中检测出有毒子空间，通过投影方式去除检测到的子空间，从而减少模型的有毒性。我们证明了 DeTox 比 DPO 更加高效，并且对噪声数据具有更强的鲁棒性。最后，我们建立了 DeTox 和 DPO 之间的理论和实证关系，并展示了 DeTox 可以被解释为单一 DPO 步骤的去噪版本。
alignment algorithmslarge language modelspreference datatoxicity reductionmodel editing approach
发现论文，激发创造
  • 比对算法的机制性理解：以 DPO 和毒性为案例研究

    本文研究了对齐算法、预训练语言模型、直接偏好优化、毒性减少和模型对齐等关键主题及研究领域，并提出了一种简单的方法来逆转模型的对齐，使其恢复其有毒行为。

    Jan, 2024

  • 对抗性数据预处理：减少对话代理中的毒性同时对连贯性和伪装性的影响最小化

    创新的训练算法 ADPO 提高了模型对有害对话的鲁棒性，同时最大限度地减少性能下降，并首次将有害数据直接纳入生成模型中，减少了人工创建安全对话数据的需求。

    May, 2024

  • 偏好调整用于跨语言毒性缓解

    通过对多语言大型语言模型进行解毒已经变得至关重要。本研究探讨了解毒语言模型中无监督跨语言泛化的偏好调整。通过仅使用英文数据进行直接优化训练，能够显著降低多语言开放生成中的有害信息。通过一系列实验证明，在训练后，mGPT-1.3B 生成有害连续内容的概率从 46.8% 降低到了 3.9%，涵盖了 17 种不同的语言。我们的结果也适用于其他多语言大型语言模型，如 BLOOM、Llama3 和 Aya-23。通过因果干预和激活分析等机械性可解释性工具，我们发现了多语言感知层在多语言大型语言模型中的双重特性，这解释了直接优化训练的跨语言泛化。最后，我们展示了双语句子检索可以预测 DPO 偏好调整的跨语言可迁移性。

    Jun, 2024

  • 使用有毒语料库对语言模型进行脱毒

    本研究探讨自回归语言模型生成的上下文倾向于产生不良偏见和毒性，提出使用有害文本作为附加资源组合两种去偏见方法来减少毒性，结果表明有害文本可以显着减少语言生成过程的毒性，为现有去偏见方法提供了补充。

    Apr, 2022

  • 通过毒化逆转实现自我解毒的语言模型

    本文提出了一种轻量级方法，通过在预训练语言模型中添加负向指令来诱导模型生成无害内容，同时利用注意力层中的信息传递方式来逆转生成过程中的有害方向，实现语言模型自我脱毒。实验结果表明，我们的方法无需微调或额外组件，可达到与最先进方法相当的性能。

    Oct, 2023

  • 具有对比解码的参数高效排毒

    Detoxification Generator (DETOXIGEN) is an algorithm that controls the attributes of generated text, particularly avoiding toxicity, by using an ensemble of a pre-trained language model and a detoxifier trained on toxic data.

    Jan, 2024

  • 基于 Transformer 的语言模型降低毒性的奖励建模

    本文提出了一种新的基于强化学习的语言模型去毒性方法 - Reinforce-Detoxify，通过引入新的奖励机制，它能够有效地检测出有毒的内容，并减轻与社会身份相关的无意识偏见。实验表明，Reinforce-Detoxify 方法在语言模型去毒性方面优于现有的去毒性方法，并且生成内容不太容易存在社会身份上的偏见。

    Feb, 2022

  • GPT-DETOX: 文本解毒的上下文学习重述器

    提出了基于 GPT-3.5 Turbo 的 GPT-DETOX 框架，利用零样本学习和少样本学习技术进行文本排毒，同时使用基于词匹配和上下文匹配的 few-shot 提示生成方法，并采用集成学习策略，实现了在两个排毒数据集上至少 10% 的性能改进。

    Apr, 2024

  • DESTEIN: 通过通用导航对偶和头部激活融合实现语言模型的过滤式导航

    该研究提出了 DeStein，一种通过调整激活空间内的内部表示来净化语言模型的新方法，该方法在资源和时间成本较低的情况下实现了混合解毒向量和原始表示，实证结果表明该方法在常用的解毒评估指标上明显优于现有的最先进方法，并保持了令人满意的生成质量和多样性，同时还将该方法扩展到多个大型语言模型，展示了其实用性和可扩展性。

    Apr, 2024

  • 驾驭内心恶魔：语言模型自我解毒

    本文研究了语言模型在训练过程中产生有毒语言并放大的现象，分析研究了提示，解码策略和训练语料对于产生有毒输出的影响，提出一种简单而有效的 “解毒” 方法。和监督基准相比，我们提出的方法在多重设置下显示出更好的毒性降低和生成质量。

    Mar, 2022