Mar, 2023

LUKE-Graph: 基于 Transformer 的门控关系图注意力模型用于完形填空阅读理解

PDF
TL;DR该论文提出了一种基于 LUKE 模型和关系图注意力机制的 LUKE-Graph 模型，将实体与关系进行异构图建模，以实现预训练模型中的先前知识加入，取得了 ReCoRD 数据集中常识推理方面最好的表现。
发现论文，激发创造
  • 使用相对位置标签将异构图与实体感知自注意力集成到阅读理解模型中

    提出了一种新的关注模式，将异构图的推理知识集成到变压器架构中，用于解决复杂推理任务。

    Jul, 2023

  • 基于上下文的图注意力网络在具有物品知识图的推荐中的应用

    该研究提出了一种名为 CGAT 的新型推荐框架，可以明确地利用实体在知识图中的本地和非本地图上下文信息，以实现个性化的推荐，这可以通过一种偏向性随机游走采样过程来提取实体的非本地上下文，并利用 RNN 来模拟实体和其非本地上下文实体之间的依赖关系

    Apr, 2020

  • 关系感知语言 - 图变换器用于问答

    提出了一种可以利用 KG 丰富的关系信息和 LM 之间有限的交互方式，联合处理自然语言和图表信息的方法，并通过 CommonsenseQA 和 OpenBookQA 等数据集的验证，在所有数据集上都取得了最先进的性能。

    Dec, 2022

  • CADGE：基于图结构知识聚合的上下文感知对话生成

    本文提出一种基于上下文感知的图注意力模型 (Context-aware GAT)，可以在知识聚合流程中有效地整合相关知识图的全局特征，并且优于传统基于图神经网络 (GNNs) 的语言框架。

    May, 2023

  • 基于知识图谱和改进注意力机制的文本分类

    为了解决文本中的语义模糊问题，我们提出了一个模型，创新地将知识图谱与改进的注意机制结合起来。该模型在字符和词级别上运作，通过集成概念来加深对文本的理解。我们首先采用信息增益选择重要词，然后采用编码器 - 解码器框架对文本及相关概念进行编码。本地注意机制调整每个概念的权重，在分类过程中减少不相关或噪声概念的影响。我们改进了本地自注意机制中注意分数的计算公式，确保文本中不同频率出现的词语获得更高的注意分数。最后，该模型采用了双向门控循环单元（Bi-GRU），从文本中提取特征以提高分类准确性。该模型在 AGNews、Ohsumed 和 TagMyNews 等数据集上达到了 75.1%、58.7% 和 68.5% 的准确率，展示了其在分类任务中的有效性。

    Jan, 2024

  • 一种基于检索和阅读的知识图谱链接预测框架

    提出了一种新颖的基于 Transformer 的图网络模型，实现了检索 - 阅读框架，提高了知识图谱链接预测的性能。

    Dec, 2022

  • 图注意力网络实现的对比文档表征学习

    本文提出使用图注意力网络在可用的预训练 Transformer 模型之上来学习文档嵌入，并基于该模型设计简单的对比学习策略，在大量无标签语料库上预训练模型。经验证明，我们的方法在文档分类和文档检索任务中是有效的。

    Oct, 2021

  • KGAT: 知识图谱注意力网络推荐

    提出了一种名为 KGAT 的新方法，它结合了知识图谱和嵌入传播技术，旨在显式地建模知识图谱中的高阶关系以提高推荐准确性，并采用注意机制以区分邻居的重要性。实验结果表明 KGAT 显著优于现有的基于知识图谱的推荐方法

    May, 2019

  • 上下文图注意力用于回答不完整知识图谱中的逻辑查询

    本文提出了一种名为 Contextual Graph Attention（CGA）的多头注意力的端到端端逻辑查询答案模型，使用初始邻域聚合层来生成中心嵌入，利用图注意力机制来处理不同查询路径的不同贡献，并使用 DB18 和 WikiGeo19 数据集进行评估，结果表明，该模型在性能上优于现有的基线模型。

    Sep, 2019

  • 基于 Transformer 与 Graph Attention Networks 的知识图谱对话问答

    本文提出一种基于 Transformer 和 Graph Attention Networks 的语义解析多任务模型 LASAGNE，并针对复杂对话式问答任务进行了实验，取得了较高的准确率。

    Apr, 2021