May, 2023

使用基于图谱的上下文信息增强语言模型以更好地理解文本数据

PDF
TL;DR本研究实验证明在 BERT 模型中加入基于图形的上下文信息会提高模型性能，并在 Pubmed 数据集上取得了 8.51％到 7.96% 的错误率减少，同时仅增加 1.6％的参数。
graph-based contextualizationbert modelautomated understandingtextpubmed dataset
发现论文，激发创造
  • 基于 BERT 和图卷积网络的上下文感知引用推荐模型

    本文提出一种基于深度学习的模型和完整组织的数据集，用于文章引用建议的上下文感知。该模型具有文档编码器和上下文编码器，并使用图卷积网络层和来自转换器的双向编码器表示 (BERT)。修改了 PeerRead 数据集之后，提出新的数据集全文 PeerRead，其中包含指向引用和文章元数据的上下文句子取样。本文中所述的方法能够获得最新的预测结果，提高了 28% 以上的平均准确率 (MAP) 和 recall@k。

    Mar, 2019

  • 神经机器翻译的文档图

    利用图形化表示法将文档作为全局语境，并将其整合到传统的变压器架构中，结合多种关系，包括邻接，句法依赖，词汇一致性和指代，能够显著提高神经机器翻译的性能。

    Dec, 2020

  • 上下文神经语言建模在信息检索中的应用

    本文探讨了利用上下文语境中的神经语言模型 BERT，可以提供更深入的文本信息理解，以增强预先训练的 BERT 模型以及相关的搜索任务。

    May, 2019

  • 结合语言和图模型进行 Web 上的半结构化信息提取

    关系抽取是一种从网络上挖掘人类知识的高效方式，本文提出了一种名为 GraphScholarBERT 的开放领域信息抽取方法，它能够从半结构化的网页中提取目标关系，并能在未见过的领域中进行泛化，无需额外数据或训练，并且与搜索关键词完全匹配。实验证明，GraphScholarBERT 在零射击域和零射击网站情境下，相比以往的方法，可以提高抽取的 F1 分数达 34.8%。

    Feb, 2024

  • 将图上上下文知识融入预训练语言模型

    本文提出了一种基于 Transformer 模型的知识表示学习方法，能够有效地捕捉知识图谱中节点的上下文信息，提高了医学自然语言处理中的性能表现。

    Nov, 2019

  • 探索基础模型的上下文学习能力，用于从文本中生成知识图谱

    通过自然语言处理中的上下文学习，自动提取命名实体及其关系，实现知识图谱自动化构建。

    May, 2023

  • 知识图谱融合用于语言模型微调

    探索将知识图谱注入 Bert 模型的微调阶段来提高语言理解，并通过实验证明注入相关高质量知识对于特定任务有显著的性能提升。

    Jun, 2022

  • 评估知识图谱上下文对实体消歧模型的影响

    本篇文章提出了一种基于知识图谱（如 Wikidata）的上下文推断方法，以提高预训练 transformer 模型在实体消歧（Named Entity Disambiguation）方面的性能，并通过实验证明该方法可以推广到维基百科，并显著优于现有基线方法。

    Aug, 2020

  • VGCN-BERT: 使用图嵌入增强 BERT 进行文本分类

    本文提出了 VGCN-BERT 模型，结合 BERT 和 Vocabulary Graph Convolutional Networks (VGCN) 的能力进行文本分类，实验证明其在多个文本分类数据集上性能优于单独使用 BERT 和 GCN，并且比以前的研究效果更好。

    Apr, 2020

  • 使用图感知变压器进行多语言词汇搭配的提取和分类

    本文将序列标记 BERT 模型与图形感知变压器架构相结合，用于识别语境中的词汇搭配。实验结果表明，显式地编码句法依存结构对模型性能有帮助，并提供英语、西班牙语和法语词汇搭配类型区别的见解。

    May, 2022