May, 2023

抽象式摘要作为文档级事件检测的扩充

PDF
TL;DR使用抽象文本摘要作为增强方法，着重于在文档级事件检测上弥合浅层模型和深层模型之间的性能差距，使用 RoBERTa-base 和线性 SVM 对分类进行实验，结果表明，文档标题的使用不但能够增强分类性能，还能提高 RoBERTa 的 F1 分数。
transformer-based modelsabstractive text summarizationdocument-level event detectionlinear svmroberta
发现论文，激发创造
  • 文档级主体概括

    本文研究使用 Transformer 技术来提高自动文本摘要的效率，提出基于检索的方法，可以降低处理整个文档的成本。实验结果表明，相较于基线，该方法的存储占用更少，且保证了文本摘要的可靠性。

    Dec, 2022

  • 基于摘要生成的数据增强方法用于文档分类

    通过使用 SUMMaug，一种简单但有效的基于摘要的数据增强方法，我们能够解决预训练语言模型在理解长文本（如文档）时遇到的数据稀疏问题，并在文档分类任务中取得了稳健性和准确性上的优势。

    Dec, 2023

  • 文本摘要中的抽象化改进

    提出使用上下文相关网络和预训练的语言模型来提高抽象文本摘要的生成水平和使用新颖度度量来优化生成的摘要，从而实现比现有方法更高水平的摘要生成。

    Aug, 2018

  • 使用预训练语言模型在低资源环境下进行长文档摘要

    本文探讨如何在低资源情况下，使用深度神经网络等技术进行长篇法律文件的自动摘要，本文提出了一种基于 GPT-2 的算法，基于语言模型的困惑度，识别出最具有表现力的句子，在提取摘要时提供有效支持，并且该方法胜过了全球其他对手的显著度检测基线。

    Mar, 2021

  • 基於 Transformer 語言模型的抽取式和生成式神經文件摘要

    本文采用神经抽象总结的方法来产生长文档的抽象总结，该方法使用一个简单的抽取步骤来生成一个摘要，然后将其用作相关信息的转换器语言模型的条件，然后生成一个摘要。我们展示了这个抽取步骤显著地改善了总结结果，而且这种方法产生的抽象总结比以前采用复制机制的工作能够实现更高的浸润得分。

    Sep, 2019

  • 基于课程指导的抽象摘要

    本文提出两个方法以弥补 Transformer-based summarization 模型在内容选择方面表现不佳和训练策略效率不高的缺陷，使得模型可以更好的理解要点，同时引入课程学习的方法提高了训练速度和质量，并用 Reddit TIFU 数据集和其他三个跨领域总结测量我们的模型的有效性，同时进行了人类评估表明所提出的方法在流畅性、信息量和整体质量等质量标准上具有良好的效果。

    Feb, 2023

  • 基于 Transformer 的自动文摘实现

    文章旨在利用基于 Transformer 的技术提高文章章节摘要的生成效率和质量。

    Jan, 2023

  • 预训练变形金刚模型在抽象摘要中的有效适应性

    本文探讨使用预训练的 Transformer 语言模型来进行文本摘要的实现，提出了基于源嵌入和领域自适应训练的方法，并在三个摘要数据集上进行了测试，并在其中两个数据集上取得了新的最佳表现。结果表明，该方法能够产生更专注的摘要，并且对于更抽象的数据集表现得更加明显。

    Jun, 2019

  • 主题扩充生成器用于抽象化摘要

    该研究提出了一种新的解码器，通过条件调整文本和文档的潜在主题来生成摘要，使用 LDA 等主题模型揭示了更多的全局语义信息，使解码器能够访问文本语料库级别的词共现统计信息，实验表明，与现有模型相比，该方法能显著提高 ROUGE 分数。

    Aug, 2019

  • 抽象摘要中的句子重写的摘要级别训练

    本文通过使用句子重写模型，采用先提取常规句子，后对所选句子进行释义来生成摘要的策略，提出了一种通过强化学习直接最大化摘要级别 ROUGE 得分的新型训练信号，并在 CNN / Daily Mail 和纽约时报数据集上展示了新的最先进表现。在整个实验中，我们还演示了它在 DUC-2002 测试集上的普遍适用性。

    Sep, 2019