ACLMay, 2023

利用 BRIO 训练范式进行抽象文本摘要

PDF
TL;DR本文提出了一种简单但有效的技术，通过微调预先训练的语言模型并使用 BRIO 范例进行训练，以改进抽象摘要。我们在越南文上构建了一个文本摘要数据集，称为 VieSum，并使用 BRIO 范例在 CNNDM 和 VieSum 数据集上进行了实验。结果显示，这些模型在基本硬件上训练得到了提高，比所有现有的抽象摘要模型表现更好，尤其是对于越南文。
abstractive summarizationbrio training paradigmpre-trained language modelsvietnamese text summarizationmodel performance
发现论文，激发创造
  • BRIO：让抽象化摘要更有序

    提出了一种新的非确定性分布训练方法，通过根据其质量分配概率质量到不同的候选摘要，从而解决确定性分布训练方法在推断时导致的性能下降问题， 在 CNN/DailyMail 和 XSum 数据集上均取得了优于现有方法的最优结果，并且与质量水平更相关的评估摘要的概率评估。

    Mar, 2022

  • 使用预训练语言模型在低资源环境下进行长文档摘要

    本文探讨如何在低资源情况下，使用深度神经网络等技术进行长篇法律文件的自动摘要，本文提出了一种基于 GPT-2 的算法，基于语言模型的困惑度，识别出最具有表现力的句子，在提取摘要时提供有效支持，并且该方法胜过了全球其他对手的显著度检测基线。

    Mar, 2021

  • 文本摘要中的抽象化改进

    提出使用上下文相关网络和预训练的语言模型来提高抽象文本摘要的生成水平和使用新颖度度量来优化生成的摘要，从而实现比现有方法更高水平的摘要生成。

    Aug, 2018

  • 通过语义相似性学习能更好地实现抽象摘要化

    本文探讨基于预训练语言模型的摘要生成模型。通过与基准数据集 CNN/DM 的参考摘要的人工评估比较，发现相对于参考摘要而言，由最新的语言模型 BART 生成更高分的摘要。我们对 CNN/DM 数据集内在特性、预训练语言模型的进展及其对训练数据的泛化能力进行了分析，最终提出了对于提高抽象化摘要生成的学习方法的思考。

    Feb, 2020

  • 抽象摘要中的句子重写的摘要级别训练

    本文通过使用句子重写模型，采用先提取常规句子，后对所选句子进行释义来生成摘要的策略，提出了一种通过强化学习直接最大化摘要级别 ROUGE 得分的新型训练信号，并在 CNN / Daily Mail 和纽约时报数据集上展示了新的最先进表现。在整个实验中，我们还演示了它在 DUC-2002 测试集上的普遍适用性。

    Sep, 2019

  • 三段式文本摘要的规则

    该论文提出了一种基于神经网络的文本摘要模型，旨在解决现有模型未能显式考虑信息结构的问题，并控制摘要信息结构来提高总体摘要表现，实验结果证明该模型的有效性。

    Sep, 2018

  • 可控抽象摘要

    本文提出了一种神经摘要模型，能够通过简单而有效的机制实现用户对文本长度、风格、感兴趣的实体等高级属性的控制，以生成符合用户需求的高质量摘要，并在 CNN-Dailymail 数据集上优于现有的自动化系统和人工评价。

    Nov, 2017

  • VLSP2022-Abmusu 比赛中 LBMT 队伍使用文本相关性和生成模型的混合方法进行越南多文档摘要

    本文介绍了一种基于聚类相似性的多文档综述方法，使用基于修改版 PageRank 算法和文本相关性考虑机制的混合模型的抽取方法，在每个聚类中选择最重要的句子生成摘要，并应用 BARTpho 和 ViT5 构建了缩写模型，结果表明该方法在 VLSP 2022 竞赛中取得了竞争力的成果。

    Apr, 2023

  • 使用预训练模型的抽象文本摘要分析

    本文评估了不同预训练模型在不同数据集上的文本摘要效果，通过 ROUGE 和 BLEU 指标比较了三种不同预训练模型在 CNN-dailymail、SAMSum 和 BillSum 三个数据集上的性能表现。

    Feb, 2023

  • 利用机器翻译在审议过程中评估抽象摘要模型

    我们研究了非英语的决策过程汇总，使用了抽象总结和机器翻译技术，证明了这种方法能够产生流畅、连贯和相关的总结，适合生产环境中运用。

    Oct, 2021