Feb, 2023

安全，负责和道德对话系统的最新进展：综述

PDF
TL;DR本文提出了建立安全、负责任、适度的对话系统研究范围的新视角，包括 1) 虐待和有毒内容，2) 不公平和歧视，3) 道德和道德问题，4) 误导和隐私信息的风险。此外，从安全问题的曝光和检测的角度，回顾了评估大型模型安全性的主流方法。最后，就正在构建负责任的 AI 所面临的六大挑战进行了讨论。希望本文能够鼓励更多关于安全对话系统的研究。
dialogue systemartificial intelligencesafetyethicsevaluation
发现论文，激发创造
  • 数据驱动对话系统中的伦理挑战

    探讨机器对话系统研究中的潜在道德问题，包括数据驱动系统中的隐性偏见、对抗性案例的出现、隐私侵犯的潜在来源、安全问题、增强学习系统的特殊考虑以及可重复性问题，并建议需要进一步研究的领域。

    Nov, 2017

  • 利用社会意识对比学习改善对话安全性

    通过对对话 AI 系统中不安全内容的生成风险进行研究，我们提出了一种双步骤微调过程，利用社交感知的 n 对比损失来集成亲社会行为，并通过使用 Moral Integrity Corpus（MIC）和 ProsocialDialog 等数据集培训一个基础模型，实验证明了我们的方法在生成社交适宜回应方面的有效性。

    Feb, 2024

  • E2E 会话型 AI 安全问题预测：框架和工具

    本文讨论了在训练端到端对话 AI 模型时会遇到的关于安全性的困境。提供了一个基于价值观的设计框架，以帮助研究人员在决定何时和如何发布这些模型时做出更合理的决策，并提供了一套工具来帮助他们进行更明智的选择。

    Jul, 2021

  • 以更安全的对话人工智能作为用户喜爱的来源

    本研究旨在探讨适当的 moderation 对于提高聊天 AI 系统的用户体验的作用，研究发现恰当的 moderation 不仅不会降低用户的满意程度，反而有可能提高用户留存，是一种有效的系统设计方式。

    Apr, 2023

  • 对话系统综述：最新进展和新的前沿

    这篇文章总结了基于深度学习的对话系统的最新进展和研究方向，讨论了如何通过深度学习在任务导向和非任务导向模型中学习有意义的特征表示和响应生成策略。

    Nov, 2017

  • 关于对话模型的安全性：分类法，数据集和基准

    在人 - 机对话设定中，我们为对话安全性提出了一种专门捕捉不安全行为的分类法，重点在于对先前的探讨不足的上下文敏感性不安全性的关注，并编制了一个包含丰富上下文的不安全示例的数据集 DiaSafety，实验证明现有的安全保护工具严重失败。为此，我们训练了一个对话安全性分类器来提供上下文敏感对话不安全性检测的强大基线，在流行的对话模型上执行安全评估，并展示现有的对话系统仍然存在令人关注的上下文敏感安全问题。

    Oct, 2021

  • 利用上下文学习提高对话安全性

    本文研究使用一种基于检索的框架来减少使用神经网络的聊天机器人系统中可能出现的安全问题和偏见，并使用上下文学习生成更加安全的回复，其中演示了使用检索的相似的对话框架所做过的安全模型回答，此方法达到了相对理想的结果。

    Feb, 2023

  • 开放式聊天机器人的安全配方

    探讨了在开放领域生成式对话模型中缓解无意识偏见、有害行为的问题，提出了新的人与模型交互框架及新方法，而不使用外部分类器，在保证模型可用性的同时更安全，实现了自动和人为评估。

    Oct, 2020

  • 面向任务型对话系统的最新进展和挑战

    本文探讨了任务导向对话系统的最新研究进展和挑战，特别在三个关键领域进行了深入讨论：提高数据效率、模拟多回合动态以优化任务完成性能，以及将领域本体知识与对话模型集成。此外，还评估了最近的对话进展和一些常用的语料库。我们相信，这虽然不是一个完整的调查，但它仍然可以为未来任务导向对话系统的研究提供启示。

    Mar, 2020

  • 通过双倍高效辩论实现可扩展的人工智能安全

    通过设计一套新的辩论协议，本文展示了如何解决 AI 安全中的挑战，其中诚实策略能够使用多项式数量的步骤来成功模拟预训练 AI 系统，同时能够验证随机 AI 系统的对齐性，即使不诚实策略允许使用指数数量的模拟步骤。

    Nov, 2023