Feb, 2023

使用指针生成网络和 SciBERT 嵌入生成研究论文亮点

PDF
TL;DR本研究旨在利用指针生成网络、覆盖率机制和上下文嵌入层生成科学论文自动摘要，经测试在 CSPubSum 和 MixSub 数据集中，与同类算法相比，该模型表现最佳。
research highlightspointer-generator networkcoverage mechanismscibert embeddingsautomatic research highlight generation
发现论文，激发创造
  • 基于命名实体识别的研究亮点自动生成

    本文介绍了一种基于深度学习模型与实体识别的自动生成研究论文摘要的方法，实验证明使用实体识别可以提高摘要质量。

    Feb, 2023

  • 指针生成网络：更抽象的摘要生成

    该研究提出了一种基于多头注意力机制、指针 dropout 和新的损失函数的方法，用于促进摘要的提取，同时保持类似 ROUGE 分数，实现了相对较高的新颖 N-gram 和句子生成率。

    Apr, 2019

  • 更好的高亮：创建子句摘要亮点

    本文旨在通过生成可叠加在原始文档上的概要亮点的方式来减轻读者处理大量文本的负担。我们提出了一种新方法，通过联合确定点过程和深层语境表示来产生自包含亮点，以避免混淆并保持原意的完整性，以展示我们的方法的灵活性和建模能力。该方法在概括数据集上进行了广泛的实验，证明亮点是未来概括研究的有前途的方向。

    Oct, 2020

  • 利用指针生成网络进行摘要生成

    本文提出了一种新的架构，通过使用混合指针生成网络和覆盖机制以增强标准的序列到序列注意模型来解决神经序列到序列模型不精确复制信息和重复问题，该模型在 CNN/Daily Mail 摘要任务上表现优异。

    Apr, 2017

  • 通过引导注意力来提高指针网络的生成质量

    本文指出指针生成网络在生成摘要方面存在的提取性和事实准确性不足，并通过附加传统语言信息来纠正这些缺陷，以提高生成效果。

    Jan, 2019

  • 利用指针 GPT 的生物医学文本摘要的最佳路径

    通过使用指针网络替代原始 GPT 模型的注意力机制，研究发现指针 - GPT 模型在生物医学文本摘要中优于原始 GPT 模型，这对于电子病历系统来说是具有价值的重要补充，可以为临床医生提供更准确、更丰富的病历摘要信息，有可能在电子病历系统中开创一种新的模式并改变临床医生与病历交互方式。

    Mar, 2024

  • 概念指针网络用于抽象摘要生成

    本论文提出基于概念指针网络的抽象总结方法，使得生成的总结不仅保留了原文的关键信息，同时还生成了新的概念词汇来表达具体细节，而且采用了一种新颖的远程监督学习方法来优化训练模型。实验结果表明，该方法在 DUC-2004 和 Gigaword 数据集上显著优于多种最先进的模型。

    Oct, 2019

  • SummaReranker：一个多任务专家混合再排序框架用于抽象摘要

    该研究使用深度学习模型进行文本自动摘要，通过重新排序生成的摘要，显著提高了 ROUGE 1 得分。

    Mar, 2022

  • 生成基于计划的摘要重新排名所需的 EDU 摘录

    本文介绍了一种新颖的方法来生成二次排序的待选摘要，方法通过提取唯一内容计划来生成不同的目标摘要，并通过基准解码方法对生成的摘要进行了重新排名，实验表明在典型单文档新闻文章语料库上，相比之前发布的方法，该方法在关键性能评估指标 ROUGE-2 F1 上有显著提高，并提供了代码.

    May, 2023

  • 利用 Transformer 模型集合检测生成的科学论文

    该论文讨论了在第三届学术文档处理研讨会上开展的 DAGPap22 共享任务中开发的神经模型，侧重于比较不同的基于 transformer 的模型并使用附加数据集和技术来处理不平衡的类别，在提交最终版本时，我们使用经过随机过采样技术微调的 SciBERT，RoBERTa 和 DeBERTa 集成模型达到了 99.24% 的 F1 得分，官方评估结果将我们的系统排在第三位。

    Sep, 2022