Sep, 2021

借助人类反馈递归地对图书进行摘要

PDF
TL;DR本文介绍利用机器学习方法，在小部分任务中辅助人类反馈来逐步完成整个任务， 并用所收集的大量数据 fine-tune GPT-3 模型，将其应用于整本小说的抽象式摘要，最后得到了可以在几个案例中与人类摘要匹配的，甚至匹配人类摘要质量的总结。
machine learningabstractive summarizationgpt-3behavioral cloningbooksum
发现论文，激发创造
  • 从人类反馈中学习摘要

    通过使用强化学习优化模型的奖励函数来预测人类偏好总结，本文展示了可显著提高总结质量的可能性，并在 TL;DR 数据集上取得了显著的优势。

    Sep, 2020

  • 基于 Transformer 的自动文摘实现

    文章旨在利用基于 Transformer 的技术提高文章章节摘要的生成效率和质量。

    Jan, 2023

  • 人在环节下的抽象式对话摘要

    本文提出引入不同层次的人类反馈，结合增强学习以提高抽象对话摘要的质量。实验表明，该方法在人类判断方面优于监督式基线，并能提高摘要质量。

    Dec, 2022

  • BooookScore：基于 LLMs 时代的图书摘要系统性研究

    通过两种工作流程 (层级合并、递增更新) 实现基于 LLM 的书籍摘要器的连贯性研究，发现 LLM 会出现八种常见的连贯性错误，并提出了一个自动评估指标 BooookScore，与人工标注结果一致，可用于系统评估其他关键参数的影响，同时节省了人工评估成本。

    Oct, 2023

  • BookSum：用于长篇叙述摘要的数据集合集

    本研究介绍了一种新的包含长型叙述文本的数据集 BookSum。这个数据集覆盖了文学领域的原始文件，并包含三种难度递增的高度抽象的人工撰写的摘要，涵盖段落、章节和整本书的水平。通过该任务的训练和测试，本研究基于此数据集建立了多个抽取和摘要式自动文摘模型。

    May, 2021

  • 观点摘要的小样本学习

    本文介绍了一种学习无监督条款，在生成模型中引入少量样本来捕获其必要属性的方法，用于生成商品评论等主观性文本的摘要，该方法比以往的提取和抽象方法更有效。

    Apr, 2020

  • 基于强化学习的无监督句子自动摘要系统生成多种长度的摘要

    本篇论文提出了一种基于强化学习的抽象模型，用于无人工摘要的句子摘要，同时还开发了一种多摘要机制来提高摘要质量。实验结果表明，该模型明显优于抽象和提取式模型，经常生成未包含在原始文本中的新单词。

    Dec, 2022

  • 使用 GPT-3 进行零 - shot 意见摘要

    本文介绍了如何使用 GPT-3 对大量的用户评论进行零样本情感总结，探讨了一些通用方法并对不同方法的信念忠实度、准确性和通用性等多个角度进行评估。

    Nov, 2022

  • 基于增强学习的选句重写快速生成摘要

    本论文提出一种快速、精准的摘要生成模型，该模型首先选择重要句子，然后使用新颖的基于句子级的策略梯度方法实现两个神经网络之间的其它计算，最后生成简洁的总体摘要。该模型在 CNN/Daily Mail 数据集上的表现达到了最新的最佳水平，并且具有更高的抽象性得分，同时也展示出相较于之前的长段落编码 - 解码模型，更快的推断速度和训练收敛速度优势，而且在 DUC-2002 数据集上表现更优。

    May, 2018

  • 文档级主体概括

    本文研究使用 Transformer 技术来提高自动文本摘要的效率，提出基于检索的方法，可以降低处理整个文档的成本。实验结果表明，相较于基线，该方法的存储占用更少，且保证了文本摘要的可靠性。

    Dec, 2022