May, 2023

弥合断层：自然语言生成中融入（人类）反馈的调查

PDF
TL;DR本文对利用人类反馈来提高自然语言生成的研究进行了综述。通过介绍反馈的形式和目标，讨论了直接使用反馈或训练反馈模型两种方法在训练和解码过程中的应用。此外，我们还探讨了与反馈收集相关的现有数据集和问题，并提供了人工智能反馈领域的概述。
natural language generationhuman feedbacklarge language modelstoxicityai feedback
发现论文，激发创造
  • 使用语言反馈进行语言模型训练

    通过从自然语言反馈中学习，本文提出了一种三步学习算法来通过对其输出的反馈来优化预训练语言模型，以获得人类水平的摘要能力。

    Apr, 2022

  • 系统层面的自然语言反馈

    本文提出了一种通用框架，利用自然语言反馈来解锁系统级反馈的用处，并应用于搜索和对话系统的查询和响应生成中，本方法证明了系统级反馈与实例级反馈的结合带来了更多的收益，并强调了人类反馈对系统构建的重要性。

    Jun, 2023

  • 大型语言模型中主观人类偏好和价值的反馈学习的过去、现状和更好未来

    人类反馈在大型语言模型中被广泛应用，本研究回顾了现有的人类反馈学习方法，并提出了未解决的五个概念和实践上的挑战。

    Oct, 2023

  • 将人类纳入自然语言处理环节：一项调查

    介绍了人与自然语言处理模型 (NLP) 的交互式 (HITL) 的短暂但激动人心的历史，总结了近期以任务、目标、人机交互和反馈学习方法为重点的各种 HITL NLP 框架，并讨论了将来在 NLP 开发中整合人类反馈的方向。

    Mar, 2021

  • 通过自然语言以人工反馈聚合大规模语言模型数据对齐

    通过模型中人类反馈的学习，改进大型语言模型（LLMs）的输出与人类期望的一致性，利用人类反馈信号中以响应对的排名形式的强化学习，研究使用自然语言反馈模型的数据效率，通过对 ChatGPT、BARD 和 Vicuna 等模型的反馈逐渐改进，提高了模型的响应质量。

    Nov, 2023

  • 神经语言生成：公式化，方法与评估

    本调查综述了自然语言生成的定义、应用、方法及评估，提供了一种神经网络生成模型的信息总览。

    Jul, 2020

  • 自动学生反馈生成智能系统的负责任开发框架

    利用最新的人工智能和自然语言处理技术，本文介绍了自动化反馈的前沿领域，分析了其伦理问题，并提出了一个框架，以帮助学者负责地开发这样的系统。

    Aug, 2023

  • 从语言反馈中学习奖励

    本研究采用自然语言反馈作为人工智能代理的学习信号，使用基于方面的情感分析将反馈分解为关于马尔可夫决策过程功能的情感。然后通过推理情感模型中的潜在奖励函数，来进行反向强化学习。实验表明本方法可以成功地从人的互动反馈中学习，并提供了关于自然语言反馈信息结构和利用它进行强化学习的方法。

    Sep, 2020

  • 通过自然语言反馈在目标条件下强化学习中的利用

    通过使用自动生成的语言反馈以及改进的决策变压器架构，在强化学习中引入更丰富、更贴近人类反馈的方式可以改善智能体的泛化性能。

    Dec, 2023

  • 文本生成的评估：一项调查

    该文章调查了近年来开发的自然语言生成（NLG）系统的评估方法。将 NLG 评估方法分为三类，讨论了每种类别取得的进展和仍然面临的挑战，重点关注最近提出的 NLG 任务和神经 NLG 模型的评估。最后提出了自动文本摘要和长文本生成的两个任务特定的 NLG 评估示例，并提出了未来的研究方向。

    Jun, 2020