自动摘要中冗余与局部连贯性之间的权衡
本研究探索和比较了在长篇文档自动摘要时处理冗余的不同方法,并在这些类别的语境下提出了三种平衡非冗余性和重要性的方法。实验证明,我们的方法在减少冗余的同时,在两个科学论文数据集(Pubmed 和 arXiv)的 ROUGE 分数方面实现了最先进。
Nov, 2020
该研究旨在开发一种在多文档环境中的提取式摘要生成器,使用基于排名的句子选择方法以及连续向量表示和关键短语,并提出了一种模型来解决摘要连贯性问题,以提高可读性。实验结果表明,在信息量和连贯性方面,该方法相对于现有方法有了显著的改进。
Jun, 2017
提出了一种多任务学习架构,用于基于从文本中提取摘要,其中包含摘要器和连贯判别器模块,通过预训练的转换模型(基于模型)和转换矩阵(MAT-based)将句子表示合并,实现了可微分训练,并以此最大化了连贯判别器的连贯度分数,并通过人工评估证实了我们方法提高了从原始文章位置开始提取的连续句子的比例以及有效保留了其他自动评估指标。
May, 2023
本文提出了一种新颖的神经网络抽取式文档摘要模型,结合整个文档的全局上下文和当前主题内的局部上下文;我们在 Pubmed 和 arXiv 两个科学论文数据集上评估了该模型,并在 ROUGE-1,ROUGE-2 和 METEOR 分数上优于以前的工作,包括抽象模型和提取模型;更为惊讶的是,消融分析表明,我们的模型的好处似乎仅来自于对局部上下文的建模,即使对于最长的文档。
Sep, 2019
一种基于孪生网络的无监督抽取式摘要模型,引入了可训练的双向预测目标,在选定的摘要和原始文档之间进行训练。与基于中心性排名的方法不同,我们的抽取式评分器可以进行端到端训练,无需位置假设。此外,我们通过近似 0-1 背包问题求解器引入了一个可微分的长度控制模块,用于端到端可控制长度的抽取。实验证明,相同的句子编码器下,我们的无监督方法在很大程度上优于基于中心性排名的基准方法。在长度控制能力方面,通过我们可训练的背包模块,性能始终优于强基准方法,而无需进行端到端训练。人工评估进一步证明,我们的方法在相关性和一致性方面优于基准方法。
Dec, 2023
本文提出了一种基于无监督的基于图的排名模型,用于提取科学文献的摘要。我们的方法假定源文档采用两级分层图表示,并利用不对称的位置提示来确定句子的重要性。在 PubMed 和 arXiv 数据集上的结果表明,我们的方法在自动指标和人工评价方面优于强无监督基线。此外,其性能与许多基于监督学习的方法相当。这些结果表明,篇章结构中的模式是确定科学文章重要性的强有力信号。
May, 2020
本文介绍了一种新的数据集,用于总结计算机科学出版物,展示了利用神经句子编码和传统的总结功能来开发模型的方式,并表明即使在传统的科学领域中,对句子的编码以及他们的本地和全局背景进行编码的模型也有很好的性能,并实现了明显优于已经建立的基准方法的结果。
Jun, 2017
本文提出了一种基于联合提取和句法压缩的神经模型用于单文档摘要,该模型选择文档中的句子,通过句法分析识别可能的压缩,并用神经模型评分这些压缩以生成最终的摘要,实验结果表明,该模型在 ROUGE 评估中表现良好,能够达到与最先进系统相当的性能,并且其输出一般保持语法正确。
Feb, 2019
使用内存高效的大型语言模型进行文本精炼有助于提高可阅读性,而在长文本输入的文本生成任务中,如多文档摘要,控制性是一个需要关注的问题。本文研究了一种用于多文档摘要的通用的可控方法,利用大型语言模型来提炼文本。具体来说,我们训练了一个可控的内容提取方案,用于提取需要由大型语言模型提炼的文本。该方案采用了一种新颖的覆盖和连贯性直观策略,并由一个被动训练的大型语言模型适当地奖励。我们的方法在使用 ROUGE 指标进行评估时取得了有竞争力的结果,并在人工评估中在连贯性方面胜过潜在的基准。
Oct, 2023