Dec, 2023

在抽象文本摘要中利用表征偏差进行数据去噪

PDF
TL;DR本文旨在离散化抽象文本摘要模型的向量空间，以理解输入嵌入空间和模型编码空间之间的特征学习。我们通过聚类技术来学习模型样本空间的多样性，以及数据点如何从嵌入空间映射到编码空间，从而提出了一种度量方法来过滤冗余数据点，使模型更强大且更节约数据。我们使用 Rouge、BERTScore、FEQA 和金字塔分数等定量指标来对我们提出的方法进行基准测试，并量化阻碍模型从各种输入样本中学习多样性的原因。
abstractive text summarizationdeep learning modelstraining samplesvector spaceclustering techniques
发现论文，激发创造
  • 抽象化摘要模型中的定量数值探讨

    本文提出了一套探测测试用于评估抽象自动摘要模型中建模输入文本中定量价值的有效性，并发现 DistilBART-CDM 模型在多个实验中表现不佳，并且与 BERT 的性能比较表明，摘要任务的标准预训练和微调方法可能对一些编码器的表现产生影响。

    Oct, 2022

  • 通过对比学习缓解摘要文本生成中的曝光偏差

    提出使用对比学习来减少低质量文摘的可能性，同时增加黄金文摘的可能性，以解决 Encoder-decoder 模型在训练和推理中的偏差问题，并在实验中证明这种方法有效地提高了最先进模型在不同数据集上的性能。

    Aug, 2021

  • 文本摘要中的抽象化改进

    提出使用上下文相关网络和预训练的语言模型来提高抽象文本摘要的生成水平和使用新颖度度量来优化生成的摘要，从而实现比现有方法更高水平的摘要生成。

    Aug, 2018

  • 预训练变形金刚模型在抽象摘要中的有效适应性

    本文探讨使用预训练的 Transformer 语言模型来进行文本摘要的实现，提出了基于源嵌入和领域自适应训练的方法，并在三个摘要数据集上进行了测试，并在其中两个数据集上取得了新的最佳表现。结果表明，该方法能够产生更专注的摘要，并且对于更抽象的数据集表现得更加明显。

    Jun, 2019

  • 抽象摘要生成中的聚类模式学习

    我们提出了一种用于摘要生成的新型聚类转换器层，该层在编码器和解码器之间生成两个显着和非显着簇，然后通过对聚类进行归一化和收缩，将它们分隔在潜空间中，从而使解码器可以更多地关注显着的上下文向量，并能够达到比现有 BART 模型更好的性能。

    Feb, 2022

  • 基于课程指导的抽象摘要

    本文提出两个方法以弥补 Transformer-based summarization 模型在内容选择方面表现不佳和训练策略效率不高的缺陷，使得模型可以更好的理解要点，同时引入课程学习的方法提高了训练速度和质量，并用 Reddit TIFU 数据集和其他三个跨领域总结测量我们的模型的有效性，同时进行了人类评估表明所提出的方法在流畅性、信息量和整体质量等质量标准上具有良好的效果。

    Feb, 2023

  • 通过数据综合，增强和课程来缓解抽象摘要中的数据匮乏

    通过数据合成、数据增强、课程学习等方法，不需要额外的数据，即可改善抽象摘要模型的性能。研究表明，采用这三种方法可以在两个摘要模型和两个不同的小数据集上改善抽象摘要。此外，当分别应用和组合使用这些技术时，它们都可以提高性能。

    Sep, 2021

  • 文本摘要模型的训练动态

    本文分析生成模型的训练动态，特别是聚焦于总结的方面，并研究了不同阶段的训练过程中模型学到的东西，通过简单的训练修正可以实现不同目标，比如提高事实性和提高抽象程度。

    Oct, 2021

  • 综合的和抽象的摘要：基于行列式点过程的多样化注意力

    本文通过引入一种称为微观 DPPs 和宏观 DPPs 的方法，提出了一个名为 DivCNN Seq2Seq 的 Diverse Convolutional Seq2Seq 模型，用于生成注重质量和多样性的 attention distribution，从而相比传统模型和强基线模型实现更高的综合性摘要生成。

    Sep, 2019

  • 抽象文本摘要中的事实不一致问题：一项调查

    研究表明，使用神经编码器 - 解码器模型等抽象方法能够更好的进行生成摘要，但是由于摘要的抽象性较高，导致文章中存在失真和伪造的问题，因此当前的研究主要集中在设计新的评估算法和开发新的摘要系统以解决这一问题。本文综合评述了这些基于事实的评估方法和文本摘要模型。

    Apr, 2021