EMNLPOct, 2023

从自由文本人类反馈中学习 -- 收集新数据集还是扩展现有数据集？

PDF
TL;DR通过人类的自由文本反馈进行学习对于对话系统至关重要，本文通过研究多个常用的对话数据集，包括 MultiWoZ，SGD，BABI，PersonaChat，Wizards-of-Wikipedia 和 Self-Feeding Chatbot 的人机分离数据集，发现了数据集的组成情况，误差类型，用户响应类型以及它们之间的关系，并研究了将这些数据包含在语言生成模型 (response generation) 中的影响。
free-text human feedbackdialog systemssynthetic dialog generationdialog datasetslanguage generation models
发现论文，激发创造
  • 弥合断层：自然语言生成中融入（人类）反馈的调查

    本文对利用人类反馈来提高自然语言生成的研究进行了综述。通过介绍反馈的形式和目标，讨论了直接使用反馈或训练反馈模型两种方法在训练和解码过程中的应用。此外，我们还探讨了与反馈收集相关的现有数据集和问题，并提供了人工智能反馈领域的概述。

    May, 2023

  • 大规模会话型 AI 代理的基于反馈的自学习

    本研究提出了一种自学习系统，使用用户 - 系统交互反馈信号自动纠正对话式人工智能系统中出现的各种组件错误，并通过吸收马尔可夫链模型挖掘这些反馈信号中的共同模式，进行可扩展的改进，实现了大规模对话式人工智能系统的自主学习，能显著降低过多次错误和缺陷。

    Nov, 2019

  • 从对自然语言反馈的对抗修改中学习即兴聊天机器人

    该研究通过引入生成对抗模型，将含杂谈反馈转换成具有自然样式的回复，可用于训练聊天机器人模型，提高正确回复的准确率。

    Oct, 2020

  • 基于情绪、人口信息和隐式用户反馈的面向任务的文档驱动对话学习

    近期人机交互领域的研究表明，考虑到人口统计信息、用户情感以及从话语中的隐含反馈中学习是任务导向和以文档为基础的对话系统获得用户接受和喜欢的关键。然而，这些发现尚未在自然语言处理领域得到应用，缺乏相应的数据集。为了填补这一空白，我们引入了 FEDI，这是第一个包含任务导向的以文档为基础的对话的英语数据集，其中注释了人口统计信息、用户情感和隐含反馈。我们使用 FLAN-T5、GPT-2 和 LLaMA-2 进行实验，结果表明这些数据有潜力改善任务完成情况、生成回答的事实一致性以及用户接受程度。

    Jan, 2024

  • 利用人类反馈提升开放领域聊天机器人

    本文提出了一种新颖高效的方法 Diamante 通过收集并利用两种人类反馈（包括显式示范和隐含偏好）来增强开放域聊天机器人，并介绍使用的生成 - 评估联合训练来增强与人类偏好的对齐，综合实验表明 Diamante 数据集和联合训练模式可以显著提高中文预训练对话模型的性能。

    Aug, 2022

  • 人工智能协作生成自由文本解释的重新构架

    本文探讨利用人类书写的样例以几乎无监督的方式创作自由文本解释的任务，发现高质量的提示有助于提高语言模型的生成效果，同时人类研究表明 GPT-3 生成的解释在某些情况下能够胜过人工生成的解释；作者还结合 GPT-3 与学习自评价的筛选器对生成的解释进行过滤，结果表明这一方法能够实现较高水平的解释过滤。

    Dec, 2021

  • 使用语言反馈进行语言模型训练

    通过从自然语言反馈中学习，本文提出了一种三步学习算法来通过对其输出的反馈来优化预训练语言模型，以获得人类水平的摘要能力。

    Apr, 2022

  • 针对口语对话理解数据的低成本 LLM 注释研究

    自动增强口语对话语料库中的语义表示的研究，评估了大型语言模型微调的相关性、生成注释所捕捉的知识，以及半自动注释的影响。

    Jun, 2024

  • 面向任务导向对话的通用对话行为标注

    本文提出了一种适用于任务导向对话系统的通用 DA 模式，并使用人类 - 人类对话语料库进行标记和建模，通过半监督学习技术，以提高标记效率和标记质量。

    Jul, 2019

  • 对话中利用部署数据的隐式反馈

    通过学习用户与已部署模型之间的自然对话，我们研究了提高社交对话代理的方法，无需额外的注释。利用用户响应长度、情感以及未来人类发言中的反应等信号来隐式衡量机器生成发言的质量。我们的实验使用了 BlenderBot（Xu 等，2023 年）的公开发布的部署数据。人工评估表明，我们的新模型在基线回复上有所改进；然而，我们发现一些代理信号也可能导致具有不良特性的生成。例如，优化对话长度可能导致比基线更具争议性或不友好的生成，而优化积极情感或反应则可能减少这些行为。

    Jul, 2023