Oct, 2022

在自然语言系统中减少具有隐蔽性危险的文本

PDF
TL;DR本文研究问题是智能技术在文本安全方面的应用，讨论不同类型的文字如何可能引起身体伤害，特别是一类未被充分探讨的隐蔽性不安全文本。进一步分析了该类别的子类别及解决方案，强调这个隐藏而危险的问题需要有关方面和监管机构优先考虑。本文提出了缓解方案，以激励未来研究人员解决这一挑战性问题，从而提高智能系统的安全性。
发现论文，激发创造
  • SafeText：探索语言模型中物理安全的基准测试

    本文旨在解决自然语言处理中所谓的 “安全文本” 的问题，并创建了 SafeText 基准数据集，用于研究模型的常识物理安全性，并发现即使最先进的大型语言模型也容易生成不安全的文本并难以拒绝不安全建议。因此，我们建议在模型发布之前进一步研究安全性和常识物理安全性的评估。

    Oct, 2022

  • 自然语言处理研究中有害文本的处理和展现

    本文介绍了一个将 NLP 中的文本有害信息分为三个轴的分析框架，提供了处理和呈现有害文本的建议，并引入了使用文档标准来处理和呈现有害文本的方法。

    Apr, 2022

  • 聚焦、属性和合理化：朝着安全可靠的 AI 迈进

    提出了一种名为 FARM 的新型框架，利用外部知识来生成可靠的理由，在安全领域中结合了关键的重要特性，旨在帮助干系人管理其系统的风险，为消费者安全提供具体保障。

    Dec, 2022

  • 语言生成模型可能会造成伤害：那我们能做些什么？一份可执行的调查

    本文对语言生成模型潜在威胁与社会危害进行了调查研究，提供了探查与缓解风险和伤害的实用方法，旨在为大型语言模型研究人员和从业者提供实用指南。

    Oct, 2022

  • 对抗难以察觉的有毒触发器的强健对话代理

    本文探讨了自然语言处理中毒性检测模型的发展和对抗性攻击的防御机制，提出了一种攻击和防御机制针对对话系统，能够自动触发系统生成毒性语言，同时保持谈话流畅度，并证明了该防御机制不仅有效避免了毒性语言生成，而且可以推广到对话系统之外的语言生成模型。

    May, 2022

  • 利用反事实生成减轻文本毒性

    通过使用反事实生成方法以及可解释性人工智能（XAI）领域的方法来目标化和缓解文本毒性，我们提出了一种文本解毒方法，该方法能够在去除有害含义的同时保留初始非毒性含义，并且对三个数据集进行比较实证研究和评估结果表明，最近发展的 NLP 反事实生成器比传统解毒方法更准确地缓解了毒性，并更好地保留了初始文本的含义。此外，我们还深入讨论了自动化解毒工具的多义性和恶意使用风险管理的问题，这项工作是首次将反事实生成与文本解毒结合起来，为 XAI 方法的更实际应用铺平了道路。

    May, 2024

  • 大型语言模型对于生成有害内容的鱼目混珠攻击存在漏洞

    通过诱饵和转换攻击，大型语言模型能够将安全文本转化为有害内容，这提醒我们在开发可靠的安全保护机制时需要考虑后续转换。

    Feb, 2024

  • 人性化机器生成内容：通过对抗性攻击规避 AI 文本检测

    在本文中，我们提出了一个针对更广泛的对抗性攻击类别的框架，旨在对机器生成的内容进行微小扰动以逃避检测，通过对动态场景中的对抗性学习来评估当前检测模型对这种攻击的鲁棒性的潜力提升。实证结果发现，现有的检测模型可以在仅 10 秒内受到破坏，将机器生成的文本误分类为人类撰写的内容。尽管观察到模型鲁棒性方面的一些改进，但实际应用仍面临重大挑战，这些发现为 AI 文本检测器的未来发展提供了启示，强调了对更准确和鲁棒的检测方法的需求。

    Apr, 2024

  • 有害文本的特征：走向对语言模型严格基准测试

    大型语言模型生成的文本在越来越多的应用程序中表现得像人类一样，但是最近的文献和实际观察表明，这些模型可以生成有毒，偏见，不真实或有害的语言。本文提出了六种方式来表征有害文本，并应用于现有基准和案例研究，为有害文本的评估提供了有效的方法。

    Jun, 2022

  • SafeGen: 缓解文本生成图像模型的不安全内容

    SafeGen 是一种抵御文本到图像模型生成不安全内容的框架，通过消除不安全的视觉表示，从而提高抵御对抗性提示的能力，并在保留良性图像的高保真度的同时有效地抑制不安全内容的生成，超过了八种最先进的基线方法，实现了 99.1% 的性别内容去除性能。

    Apr, 2024