Sep, 2023

长文件的内容减少、惊讶度和信息密度估计

PDF
TL;DR我们提出了四项用于估计长文档信息密度的标准，包括惊讶度、熵、均匀信息密度和词汇密度，并提出了一种基于注意力的临床笔记词语选择方法和多领域文档的机器摘要方法。实证结果表明不同领域的长文本信息密度存在系统差异，基于注意力的词语选择方法对于长临床笔记的自动医学编码具有有效性。
发现论文，激发创造
  • 长文档摘要的实证调查：数据集、模型和度量

    本综述论文系统性地评估了长文档自动摘要各主要组成部分的研究进展，包括基准数据集、摘要模型和评估方法，并提出未来工作的方向。

    Jul, 2022

  • 利用从摘要模型蒸馏的知识提升长文本理解能力

    通过使用抽象化摘要生成模型的主旨检测能力，我们提出了 Gist Detector 来加强下游模型对长文本的理解能力，并评估了该方法在长文档分类、远程监督的开放领域问答以及非平行文本风格转换等三个不同任务上的性能表现，结果显示我们的方法在所有任务上都显著提升了基线模型的性能。

    May, 2024

  • 通过 LLMs 简化长文档摘要评估

    该研究提出了一种新方法，即从长文档中提取关键句子，然后通过提示大型语言模型来评估摘要，以解决计算成本高、长文档中的重要信息往往被忽视的问题，研究结果显示该方法不仅显著降低了评估成本，而且与人工评估的相关性更高，此外，我们还提供了关于最佳文档长度和句子提取方法的实用建议，为基于大型语言模型的文本生成评估的成本效益更高且更准确的方法的发展做出了贡献。

    Sep, 2023

  • 系统地探索长文档摘要中的冗余减少

    本研究探索和比较了在长篇文档自动摘要时处理冗余的不同方法，并在这些类别的语境下提出了三种平衡非冗余性和重要性的方法。实验证明，我们的方法在减少冗余的同时，在两个科学论文数据集（Pubmed 和 arXiv）的 ROUGE 分数方面实现了最先进。

    Nov, 2020

  • 生成长文档的扩展摘要

    本研究基于多任务学习方法，利用文件的层次结构生成长篇文献的扩展摘要，并在三个大型数据集上验证其优于其他强基准模型的性能，为长篇文献摘要生成任务的未来研究提供了深入的洞见。

    Dec, 2020

  • 利用信息提取和压缩进行大规模多文档摘要

    开发了一种基于抽象的总结框架，适用于多个异构文档，该框架独立于标记数据。 与现有的多文件总结方法不同，我们的框架处理讲述不同故事的文档，而不是同一主题的文档。 最后，我们基于 CNN / Daily Mail 和 NewsRoom 数据集构建了总共十二个数据集变体，其中每个文档组都包含大量且多样化的文档，以评估我们的模型与其他基线系统的性能。 我们的实验表明，我们的框架在这种更通用的情况下胜过了现有的最先进方法。

    May, 2022

  • 利用信息瓶颈进行科学文档摘要

    使用信息熵原理，提出了无监督的文档摘要方法，通过两个单独步骤在信号查询和句子搜索和编辑之间进行。使用预训练的语言模型返回最终提取的摘要结果，验证了在三个科学文献集上的有效性，同时人类评估表明此方法包含了更多的内容方面。

    Oct, 2021

  • 自动摘要中冗余与局部连贯性之间的权衡

    使用心理语言学理论，我们在提取式摘要中实现了对不重复且连贯的元素进行排名。这个系统可以控制信息检索量的预算，并通过实验证明在处理冗余文档时提供了更少冗余的摘要。

    May, 2022

  • 一种论述感知的长文本抽象摘要关注模型

    本文提出了一种针对单个较长文档（如研究论文）进行抽象概括的模型，采用新的分层编码器对文章进行语篇结构建模，并运用有意识的编码器生成摘要，实验证明该模型显著优于现有模型。

    Apr, 2018

  • 文学语料库中的统计关键词检测

    本文通过统计文本中单词的空间使用情况，利用信息熵作为工具实现自动关键词提取，并以达尔文的《物种起源》为代表性文本样本进行性能测试和比较。

    Jan, 2007