Mar, 2019

基于 BERT 和图卷积网络的上下文感知引用推荐模型

PDF
TL;DR本文提出一种基于深度学习的模型和完整组织的数据集，用于文章引用建议的上下文感知。该模型具有文档编码器和上下文编码器，并使用图卷积网络层和来自转换器的双向编码器表示 (BERT)。修改了 PeerRead 数据集之后，提出新的数据集全文 PeerRead，其中包含指向引用和文章元数据的上下文句子取样。本文中所述的方法能够获得最新的预测结果，提高了 28% 以上的平均准确率 (MAP) 和 recall@k。
发现论文，激发创造
  • 使用基于图谱的上下文信息增强语言模型以更好地理解文本数据

    本研究实验证明在 BERT 模型中加入基于图形的上下文信息会提高模型性能，并在 Pubmed 数据集上取得了 8.51％到 7.96% 的错误率减少，同时仅增加 1.6％的参数。

    May, 2023

  • 基于分层注意力文本编码器和 SciBERT 的本地引文推荐重新排序

    通过使用最近邻搜索和层次化注意网络构建文本嵌入来预测相关的引用文献，并使用 SciBERT reranker 在本地引文推荐任务中进行微调，我们的 reranker 需要更少的预取候选项即可达到最先进的性能。

    Dec, 2021

  • 利用基于注意力的双向长短期记忆网络和可解释模型来建模引用值

    通过使用注意力机制的双向长短期记忆 (BiLSTM) 网络和环境信息，我们可以检测需要引用的句子，我们还构建了一个比以前数据集大数个数量级的新数据集 (PMOA-CITE)，证明我们的架构在标准 ACL-ARC 数据集上达到了最先进的性能 ($F_1=0.507$)，在新的 PMOA-CITE 数据集上表现出很高的性能 ($F_1=0.856$)，并且可以在这些数据集之间进行迁移学习。我们还使用可解释的模型揭示了促进和抑制引用的特定语言的运用，发现了我们改进预测的关键是章节和周围句子。我们进一步检查了模型的错误预测，并发现了人类引用行为和来源数据中的系统性错误，这为我们的模型在提交前和存档过程中检查文档打开了门。我们将这个新数据集、代码和基于网络的工具提供给社区。

    May, 2024

  • HybridCite: 上下文感知引文推荐的混合模型

    本文旨在研究引用建议系统，在多个数据集上测试了基于嵌入、主题建模和信息检索技术的引用建议方法，并将它们结合成一个半遗传混合推荐系统进行了离线和在线的评估，结果表明包含嵌入和信息检索组件的混合模型优于其他单个方法和算法。

    Feb, 2020

  • 基于上下文的引文建议

    我们提出了一种新颖的上下文感知引用推荐系统，使用作者已经撰写的内容从给定的源文档中生成可引用的段落和标记跨度的排名列表，通过在演讲转录和新闻文章的集合上进行实验，评估了模型的段落排名和跨度预测性能。

    May, 2020

  • 关于利用上下文预测学术论文句子的引用价值

    探究在科学论文中预测引用价值的句子时，上下文作用的重要性，利用双向 LSTM 模型解决了该问题，并提出了一个新的基准数据集以及文档级别的训练 / 测试分配，通过误差分析揭示了上下文在预测引用价值方面的重要作用。

    Apr, 2021

  • 利用高速网络的科学论文多任务推荐系统

    本论文提出了一种基于深度学习的多任务推荐系统，用于从科学论文中提取关键信息，包括关键字、作者以及推荐评分等。系统采用 RNN、Highway 和 CNN 等多种深度学习技术，以端到端的方式学习上下文语义，解决冷启动等问题。

    Apr, 2022

  • 通过链接预测的定向标准引用推荐与排名

    我们探讨了链接预测作为自动获取与新文档的主题或背景相关的现有文献的代理方法。我们的模型使用基于变压器的图嵌入来编码每个文档的含义，这些文档作为引文网络中的节点呈现。我们展示了我们的模型生成的语义表示在推荐和排名任务中可以胜过其他基于内容的方法。这为在那些需要这些文档正确互相引用以最小化可能出现的不一致性的领域中探索引文图提供了一种整体的方法。

    Mar, 2024

  • 利用词嵌入和领域知识为科学摘要加入文献引用语境

    提出了一种使用分布式单词表示和领域知识从参考论文中提取适当上下文的无监督模型，评估结果表明其明显优于现有技术，并且还演示了上下文化方法提高科学文章引用摘要的有效性。

    May, 2017

  • 上下文神经语言建模在信息检索中的应用

    本文探讨了利用上下文语境中的神经语言模型 BERT，可以提供更深入的文本信息理解，以增强预先训练的 BERT 模型以及相关的搜索任务。

    May, 2019