May, 2022

关系图变换器：用于知识图表示的关系图转换器

PDF
TL;DR本研究提出了一种新型变压器架构 Relphormer，其中引入 Triple2Seq 来动态采样上下文化子图序列作为输入以解决知识图谱中异构结构和语义信息难以捕获的问题，并提出了一种 novel self-attention 机制以编码关系信息。实验结果表明，相比基线模型，Relphormer 获得了更好的性能。
发现论文，激发创造
  • 通过相对位置对知识图谱进行文本生成的图结构建模

    本文介绍了 Graformer，一种新颖的基于 Transformer 的编码器 - 解码器体系结构，用于图形到文本的生成。使用我们新颖的图形自我关注，节点的编码依赖于输入图中的所有节点，促进了全局模式的检测。通过学习不同关注头的节点之间的权重，Graformer 实现了不同的连接视图，从而在 AGENDA 和 WebNLG 这两个流行的图形到文本生成基准测试中实现强大的性能。

    Jun, 2020

  • 图形转换器用于图形到序列学习

    本文提出了一种名为 “图变压器” 的模型，使用显式关系编码并允许两个远程节点之间的直接通信。与局部邻域信息交换的图神经网络不同，它提供了一种更有效的全局图结构建模方式，并在抽象意义表示文本生成和基于句法的神经机器翻译应用中表现出优异的性能。

    Nov, 2019

  • Transformer 在图表示学习中真的表现糟糕吗？

    本文通过提出新型图神经网络 Graphormer，将标准 Transformer 框架与多种简单的结构编码方法相结合，成功优化图结构数据的表示学习，特别是在最近的 OGB Large-Scale Challenge 中取得了优异结果，并证明了许多流行的 GNN 变体可以被 Graphormer 所覆盖。

    Jun, 2021

  • 基于 Transformer 的超关系和数值知识图的表示学习

    本文提出了一个名为 HyNT 的统一框架，它能够学习含数字量词的超关系知识图的表示，并且可以通过利用三元组与其限定词之间的关联和数字信息，来减少使用变形器的计算成本，同时可用于预测超关系知识图中缺失的数字值、实体或关系，并在真实数据集上展示了显著的性能优势。

    May, 2023

  • Gophormer: 基于自我图转换器的节点分类

    提出了一种基于 ego-graphs 的 Gophormer 模型，将 transformer 应用于节点分类任务，通过邻域采样缓解了规模问题，并采用 proximity-enhanced attention 机制捕捉节点间的结构偏差，通过一致性规则和多样本推理策略稳定训练和测试。Gophormer 在六个基准数据集上的实验表明了其超越了现有的图转换器和热门的 GNN，并揭示了图转换器的未来发展前景。

    Oct, 2021

  • 将图上上下文知识融入预训练语言模型

    本文提出了一种基于 Transformer 模型的知识表示学习方法，能够有效地捕捉知识图谱中节点的上下文信息，提高了医学自然语言处理中的性能表现。

    Nov, 2019

  • 基于三元组 BERT 网络的知识图谱精化

    本文利用三元组网络和基于 transformer 的语言模型，采用信息聚类方式对知识图谱中的实体或关系进行 embedding，提升关系预测准确性。通过在多个基准知识图谱上的 triplet 分类和关系预测任务的表现验证了 GilBERT 方法的优越性。

    Nov, 2022

  • HittER: 分层 Transformer 用于知识图谱嵌入

    本文针对多关系知识图谱中实体和关系的学习表示问题，提出了一种基于分层 Transformer 模型的方法，该方法可以联合学习实体关系组合和基于源实体社区的关系上下文。实验结果表明 HittER 模型在多个链接预测数据集上取得了最新的最优结果。此外，我们还提出了一种简单的方法将 HittER 集成到 BERT，并在两个 Freebase 问答数据集上证明了其有效性。

    Aug, 2020

  • 图注意力变换器

    该研究提出了一种图形变换器结构的分类体系，展示了其在分子预测等方面的潜力，探究了其在处理异质性图形及防止过多压缩等方面的效果，并提供了未来研究的方向和挑战。

    Feb, 2023

  • 学习超关系知识图谱的表示

    本文介绍了一个框架，它使用多个聚合器从 base triple 和 qualifiers 两个角度来学习超关系事实的表示，并证明了其在多个数据集上进行超关系知识图完整性的有效性。

    Aug, 2022