Goodtriever: 检索增强模型的自适应毒性缓解

Oct, 2023

Goodtriever: 检索增强模型的自适应毒性缓解

Goodtriever: Adaptive Toxicity Mitigation with Retrieval-augmented Models

Luiza Pozzobon, Beyza Ermis, Patrick Lewis, Sara Hooker

TL;DR通过引入 Goodtriever 方法，在考虑到语言的演变性的基础上，提出了一个全面的毒性缓解视角，并在推理过程中实现 43% 的相对延迟降低，更具计算效率。该研究呼吁增加对适应性缓解技术的关注，这能更好地反映模型在实际环境中面对的数据漂移问题。

Abstract

Considerable effort has been dedicated to mitigating toxicity, but existing methods often require drastic modifications to model parameters or the use of computationally intensive auxiliary models. Furthermore, previous approaches have often neglected the crucial factor of language's evolving

toxicity mitigation language's evolving nature goodtriever relative latency reduction data drift models

发现论文，激发创造

从一到多：扩大语言模型中毒素缓解的范围

多语言毒性缓解中的复杂性研究及其对未来研究的重要影响

Mar, 2024

基于 Transformer 的语言模型降低毒性的奖励建模

本文提出了一种新的基于强化学习的语言模型去毒性方法 - Reinforce-Detoxify，通过引入新的奖励机制，它能够有效地检测出有毒的内容，并减轻与社会身份相关的无意识偏见。实验表明，Reinforce-Detoxify 方法在语言模型去毒性方面优于现有的去毒性方法，并且生成内容不太容易存在社会身份上的偏见。

Feb, 2022

构建鲁棒的毒性预测模型

最近的自然语言处理文献很少关注毒性语言预测器的稳健性，而这些系统最有可能在对抗性环境中使用。本文提出了一种新的对抗性攻击方法 ToxicTrap，通过引入小的单词级扰动来欺骗最先进的文本分类器，将有毒的文本样本预测为良性。ToxicTrap 利用贪婪的搜索策略，实现了快速有效地生成有毒对抗样本。通过两个新颖的目标函数设计，ToxicTrap 可以识别多类别和多标签毒性语言检测器的弱点。我们的实证结果表明，SOTA 的毒性文本分类器确实容易受到这种攻击的影响，在多标签情况下攻击成功率超过 98％。我们还展示了如何使用普通的对抗训练及其改进版来增强毒性检测器的鲁棒性，即使面对未知的攻击。

Apr, 2024

追索索偿：与生成语言模型对话

通过为毒性过滤设置动态阈值，我们提供了一种新的机制，使用户能够实现他们希望的预测，从而增加了与基线系统的交互中的机构性。一项初步研究支持我们提出的救济机制的潜力，表明与固定阈值毒性过滤模型输出相比，可用性有所改善。未来的工作应该探讨毒性评分、模型可控性、用户机构性和语言重建过程之间的交叉点，特别是关于当与生成性语言模型互动时，许多社区遇到的偏见。

Mar, 2024

大型语言模型中毒性的实际评估

该研究介绍了新的 “全面优化毒性”（TET）数据集，由手工设计的提示构成，旨在抵消这些模型的保护层，通过广泛的评估，证明了 TET 在评估几种流行的 LLMs 中毒性意识方面的重要作用，凸显了正常提示下可能隐藏的 LLMs 中的毒性，从而揭示了它们行为中更微妙的问题。

May, 2024

多模态和大规模多语言翻译中推断时附加毒性缓解

MinTox 是一个新颖的流水线，用于识别和减轻翻译中的增加毒性问题，并在推理时工作。MinTox 使用多模态的毒性检测分类器，并在规模化和直接的文本输出中应用于多语言。在 SEAMLESSM4T 系统中，MinTox 实现了领域、模态和语言方向的显著毒性缓解，从而滤除了 25% 至 95% 的增加毒性，同时保持翻译质量。

Nov, 2023

基于生成语言建模的可微检索增强方法用于电子商务查询意图分类

检索增强通过知识检索器和外部语料库提高下游模型的性能，成功应用于许多自然语言处理（NLP）任务，然而，现有的方法由于两个部分之间的不可微性而分别或异步训练检索器和下游模型，通常导致性能下降，与端到端联合训练相比。

Aug, 2023

具有对比解码的参数高效排毒

Detoxification Generator (DETOXIGEN) is an algorithm that controls the attributes of generated text, particularly avoiding toxicity, by using an ensemble of a pre-trained language model and a detoxifier trained on toxic data.

Jan, 2024

利用反事实生成减轻文本毒性

通过使用反事实生成方法以及可解释性人工智能（XAI）领域的方法来目标化和缓解文本毒性，我们提出了一种文本解毒方法，该方法能够在去除有害含义的同时保留初始非毒性含义，并且对三个数据集进行比较实证研究和评估结果表明，最近发展的 NLP 反事实生成器比传统解毒方法更准确地缓解了毒性，并更好地保留了初始文本的含义。此外，我们还深入讨论了自动化解毒工具的多义性和恶意使用风险管理的问题，这项工作是首次将反事实生成与文本解毒结合起来，为 XAI 方法的更实际应用铺平了道路。

May, 2024

清洗语言模型中的挑战

我们探讨了一些减轻大型语言模型毒性的策略，并分析了这些策略对模型偏差和质量的影响。我们发现：虽然基本的干预策略可以有效地优化先前建立的自动指标，但这是以减少有关边缘化团体的文本和方言的语言模型覆盖率的代价。同时，我们还发现，在强减毒干预之后，人类评分员通常不会同意高自动毒性得分 - 这进一步凸显了仔细评估语言模型毒性涉及到的微妙之处。

Sep, 2021