Oct, 2022

抽象神经摘要器中的自我重复性

PDF
TL;DR对神经文摘的自我重复进行定量和定性分析。分析了三种神经网络结构（BART，T5 和 Pegasus），发现 BART 特别容易出现自我重复，并且 fine-tuning 在更具抽象性的数据和在特定领域的数据上都会导致更高的自我重复率。
neural summarizersself-repetitionbartt5pegasus
发现论文，激发创造
  • 词汇重复导致机械记忆：揭示训练和测试参考摘要中词汇重叠的影响

    理想的摘要模型应该能推广到新的值得摘要的内容，而不需要死记参考训练摘要，我们提出了一种细粒度的评估协议，通过基于参考测试摘要与训练摘要之间的词汇相似性将测试集划分，限制训练摘要中的词汇重复能够防止死记硬背，并提高摘要模型的泛化性。

    Nov, 2023

  • 学习打破循环：分析和减少神经文本生成中的重复

    通过量化实验研究，我们发现神经语言模型生成文本中会存在连续重复句子的现象，并提出了针对该现象的训练方法 DITTO，该方法不仅可以缓解生成中的重复问题，同时还能提高生成质量。

    Jun, 2022

  • 通过自对比训练缓解开放性生成中对重复的学习偏差

    本文提出了一种自对比训练方法，以惩罚同一模型的早期检查点在错误预测重复时的输出，并在保持流畅性的同时有效地减轻了重复的问题，同时研究发现语言模型在预测重复令牌时使用更长的范围依赖性，可能导致句子级重复循环。

    Jul, 2023

  • 使用预训练语言模型在低资源环境下进行长文档摘要

    本文探讨如何在低资源情况下，使用深度神经网络等技术进行长篇法律文件的自动摘要，本文提出了一种基于 GPT-2 的算法，基于语言模型的困惑度，识别出最具有表现力的句子，在提取摘要时提供有效支持，并且该方法胜过了全球其他对手的显著度检测基线。

    Mar, 2021

  • 文本摘要模型的训练动态

    本文分析生成模型的训练动态，特别是聚焦于总结的方面，并研究了不同阶段的训练过程中模型学到的东西，通过简单的训练修正可以实现不同目标，比如提高事实性和提高抽象程度。

    Oct, 2021

  • 神经抽象摘要生成中切断冗余重复历代

    本文提出了一种利用编码器中目标词汇的上限频率进行控制从而减少重复生成的 RNN 编码器 - 解码器模型，并在提取摘要任务上取得了显著的改进。

    Dec, 2016

  • 生成适当重复词汇的重复

    本工作探索了重复生成，并提出了一种加权标签平滑方法和一种重复评分方法来输出更合适的重复，并在 T5 语言模型上进行了评估，实验结果表明我们的方法在自动和人工评估中均优于基线。

    Jul, 2022

  • 三段式文本摘要的规则

    该论文提出了一种基于神经网络的文本摘要模型，旨在解决现有模型未能显式考虑信息结构的问题，并控制摘要信息结构来提高总体摘要表现，实验结果证明该模型的有效性。

    Sep, 2018

  • 抽象摘要中的逐字复制数量控制

    通过学习自单一人类摘要信息，我们提出了一种神经网络摘要模型，该模型可以生成从纯粹提取式到高度生成式的多种摘要假设，并在控制文本复制的同时实现训练和解码阶段内的控制，从而实现了竞争性的结果。

    Nov, 2019

  • 局部关注和内容选择实现的长篇摘要

    本研究提出使用 local self-attention 和 explicit content selection 两种方法来应对长篇文档摘要中的长跨度依赖，并利用大型预训练变压器模型在 Spotify Podcast、arXiv 和 PubMed 等标准数据集上进行实验，证明两种方法的组合可以在 3 个任务中实现 ROUGE 得分的最优结果。此外，与现有算法相比，在没有大规模 GPU 计算机卡的情况下，本研究的方法也可以实现相当或更好的结果。

    May, 2021