利用从摘要模型蒸馏的知识提升长文本理解能力
本研究基于多任务学习方法,利用文件的层次结构生成长篇文献的扩展摘要,并在三个大型数据集上验证其优于其他强基准模型的性能,为长篇文献摘要生成任务的未来研究提供了深入的洞见。
Dec, 2020
本文探讨如何在低资源情况下,使用深度神经网络等技术进行长篇法律文件的自动摘要,本文提出了一种基于 GPT-2 的算法,基于语言模型的困惑度,识别出最具有表现力的句子,在提取摘要时提供有效支持,并且该方法胜过了全球其他对手的显著度检测基线。
Mar, 2021
本文介绍了一个使用 ChatGPT 和 C2F-FAR 提出的混合抽取和摘要文本的流程,可以用于长篇文章和书籍。机器生成的摘要可以与人工摘要在自动化评估指标下表现得一样好,但在文本连贯性、忠实度和风格等方面仍存在问题。因此,我们认为 ChatGPT 还不够成熟。这项工作为 NLP 研究人员提供了有关 ChatGPT 在文本摘要方面的能力与实践需求的重要信息,促进进一步研究。
Jun, 2023
本文提出了一种基于知识图谱的抽象文本摘要模型(Knowledge-aware Abstractive Text Summarization),其利用源文本中提取的知识图谱三元组来提供具有关系信息的关键词,生成连贯且无误差的摘要,试验表明,该框架可以有效利用知识图谱的信息,显著减少摘要中的事实错误。
Dec, 2022
本文提出了一种针对单个较长文档(如研究论文)进行抽象概括的模型,采用新的分层编码器对文章进行语篇结构建模,并运用有意识的编码器生成摘要,实验证明该模型显著优于现有模型。
Apr, 2018
本文提出了基于图神经网络(GNN)的抽取式摘要模型,并整合了深度神经主题模型(NTM)来发现潜在主题,从而提供句子选择的文档级特征,实验结果表明,我们的模型在 CNN/DM 和 NYT 数据集上取得了最先进的结果,在由较长文档组成的科学论文数据集上也明显优于现有方法,进一步研究表明,主题信息可以帮助模型从整个文档中预先选择凸显内容,因此能够有效地摘要长文档。
Oct, 2020
本文采用神经抽象总结的方法来产生长文档的抽象总结,该方法使用一个简单的抽取步骤来生成一个摘要,然后将其用作相关信息的转换器语言模型的条件,然后生成一个摘要。我们展示了这个抽取步骤显著地改善了总结结果,而且这种方法产生的抽象总结比以前采用复制机制的工作能够实现更高的浸润得分。
Sep, 2019
开发了一种基于抽象的总结框架,适用于多个异构文档,该框架独立于标记数据。 与现有的多文件总结方法不同,我们的框架处理讲述不同故事的文档,而不是同一主题的文档。 最后,我们基于 CNN / Daily Mail 和 NewsRoom 数据集构建了总共十二个数据集变体,其中每个文档组都包含大量且多样化的文档,以评估我们的模型与其他基线系统的性能。 我们的实验表明,我们的框架在这种更通用的情况下胜过了现有的最先进方法。
May, 2022