Nov, 2023

多模态和大规模多语言翻译中推断时附加毒性缓解

PDF
TL;DRMinTox 是一个新颖的流水线，用于识别和减轻翻译中的增加毒性问题，并在推理时工作。MinTox 使用多模态的毒性检测分类器，并在规模化和直接的文本输出中应用于多语言。在 SEAMLESSM4T 系统中，MinTox 实现了领域、模态和语言方向的显著毒性缓解，从而滤除了 25% 至 95% 的增加毒性，同时保持翻译质量。
added toxicitytranslationmintoxtoxicity detection classifierseamlessm4t
发现论文，激发创造
  • 从一到多：扩大语言模型中毒素缓解的范围

    多语言毒性缓解中的复杂性研究及其对未来研究的重要影响

    Mar, 2024

  • 规模化的多语言机器翻译中的毒性问题

    本文调查了机器翻译中的一种关键性错误：加入有毒信息。作者评估了一个大型数据集的翻译质量，并发现了加入有毒信息的范围和原因。作者认为，为了减少这些错误，需要修改训练数据，减少幻觉，检查不稳定的翻译。

    Oct, 2022

  • 多语种社交媒体内容的毒性检测

    本文描述了 'Moj Masti' 团队提出的系统，使用了 ShareChat/Moj 在 IIIT-D 多语言恶性评论识别挑战中提供的数据，重点介绍了如何利用多语言 Transformer 预训练和微调模型来处理混合代码 / 交替代码分类任务，最终在测试数据 / 排行榜上实现了平均 F-1 分数为 0.9 的最佳性能，并通过添加音译数据、集成和一些后处理技术进一步提高了系统的性能，从而将我们放在了排行榜的第一位。

    Jan, 2022

  • 通过语音文本对齐提升多语言语音有害性检测

    利用跨模态学习将文本的语义嵌入集成到多标签语音毒性分类器中，该分类器仅在训练期间需要文本信息，推理时仅需要音频信息，并通过大规模数据集在真实环境下验证了此框架的有效性，同时通过消融研究证明了通用语义文本嵌入对于毒性分类目的的丰富性和与语音的一致性，通过规模化跨多种语言进行实验，展示了在五种语言和不同毒性类别中语音毒性分类的改进。

    Jun, 2024

  • MuTox：通用多语种基于音频的毒性数据集和零样本检测器

    通过创造多语言音频数据集 MuTox，实现了跨多种语言的零射击毒性检测，相比现有的基于文本的训练分类器，MuTox 的 AUC 值提高了超过 1％，语言覆盖范围扩大了 10 倍以上，相比于基于词汇列表的分类器，MuTox 的精确度和召回率提高了约 2.5 倍，这一显著改进突显出 MuTox 在音频毒性检测领域的潜力。

    Jan, 2024

  • ReSeTOX：重新学习注意力权重以减轻机器翻译中的毒性

    提出了一种名为 ReSeTOX 的方法，用于处理神经机器翻译（NMT）生成的输出中存在有害词的问题，目的是在无需重新训练的情况下减少有害语言的引入。经过实验结果表明，ReSeTOX 在保持平均翻译质量为 99.5％的情况下，在 164 种语言中实现了 57％的有害性降低。

    May, 2023

  • ToxVidLLM：一种基于多模态 LLM 的代码混合视频毒性检测框架

    本研究通过引入一个基准数据集，首次探索了多模式母语混杂视频内容中有害内容的检测问题，设计了一个先进的多模态多任务框架来进行视频内容的毒性检测，并通过整合视频的多个语言模式大大提高了检测效果。

    May, 2024

  • 清洗语言模型中的挑战

    我们探讨了一些减轻大型语言模型毒性的策略，并分析了这些策略对模型偏差和质量的影响。我们发现：虽然基本的干预策略可以有效地优化先前建立的自动指标，但这是以减少有关边缘化团体的文本和方言的语言模型覆盖率的代价。同时，我们还发现，在强减毒干预之后，人类评分员通常不会同意高自动毒性得分 - 这进一步凸显了仔细评估语言模型毒性涉及到的微妙之处。

    Sep, 2021

  • 基于 Transformer 的语言模型降低毒性的奖励建模

    本文提出了一种新的基于强化学习的语言模型去毒性方法 - Reinforce-Detoxify，通过引入新的奖励机制，它能够有效地检测出有毒的内容，并减轻与社会身份相关的无意识偏见。实验表明，Reinforce-Detoxify 方法在语言模型去毒性方面优于现有的去毒性方法，并且生成内容不太容易存在社会身份上的偏见。

    Feb, 2022

  • Goodtriever: 检索增强模型的自适应毒性缓解

    通过引入 Goodtriever 方法，在考虑到语言的演变性的基础上，提出了一个全面的毒性缓解视角，并在推理过程中实现 43% 的相对延迟降低，更具计算效率。该研究呼吁增加对适应性缓解技术的关注，这能更好地反映模型在实际环境中面对的数据漂移问题。

    Oct, 2023