Mar, 2023

生物医学图分类的 Transformer 和 Snowball 图卷积学习

PDF
TL;DR本文提出了一种新颖的 TSEN（转换器和雪球编码网络）来进行生物医学图形分类，该网络结合了图形变压器架构和图形雪球连接来增强对多尺度信息和全局模式的捕捉，同时在位置编码中使用雪球图卷积作为变压器结构的一种简单而有效的方法来捕捉本地模式。实验结果表明，TSEN 优于当前流行的 GNN 模型和基于图形变换器的 GNN 模型。
发现论文，激发创造
  • 图形转换器用于图形到序列学习

    本文提出了一种名为 “图变压器” 的模型，使用显式关系编码并允许两个远程节点之间的直接通信。与局部邻域信息交换的图神经网络不同，它提供了一种更有效的全局图结构建模方式，并在抽象意义表示文本生成和基于句法的神经机器翻译应用中表现出优异的性能。

    Nov, 2019

  • 用于句法感知神经机器翻译的图卷积编码器

    这篇研究论文介绍了一种简单有效的方法来将句法结构融入到神经注意力编码解码模型中，以实现机器翻译。文中使用了预测的源句子句法依赖树，用于生成敏感于句法周边的单词表示，以达到最佳效果。研究的实验结果表明，在英德翻译和英捷翻译方面的所有设置中，与其不考虑语法结构的版本相比，该方法均有显著的改善。

    Apr, 2017

  • 一种将 Transformer 网络泛化至图形数据的方法

    本文提出了一种用于任意图的变形器神经网络结构，在注意力机制中使用了邻域连接性，用拉普拉斯特征向量代替位置编码，使用批量归一化层代替层归一化，支持边特征表示。实验表明，该结构的性能优于传统的 transformer 模型。

    Dec, 2020

  • 图变换网络

    本论文提出了一种名为 GTNs 的图转换器网络，能够在图上进行节点表示的学习，同时生成新的图结构以及识别原始图上未连接点之间有用的连接。实验表明，GTNs 有效地生成新的图结构，通过卷积在新图上产生具有强大表现力的节点表示，并在三个基准节点分类任务中取得了最佳表现。

    Nov, 2019

  • 张量图卷积网络的文本分类

    本文提出 TensorGCN 框架，基于图卷积神经网络进行文本分类，结合单个图的邻域信息和不同图的异构信息进行内部图和跨图传递信息的聚合和协调，实现了在不同种类图中集成异构信息的有效方式。

    Jan, 2020

  • 在基于社交推荐项目中利用 Transformer 层改进图卷积网络

    该研究通过引入多层 transformer 架构对 GCN 进行改进，重点集中于节点嵌入的编码器架构，利用注意力机制重新排列特征空间以获得更高效的下游任务嵌入，实验证明所提出的架构在传统链接预测任务上表现更好。

    Jan, 2024

  • 张量视图拓扑图神经网络

    图分类是一项重要的图结构数据学习任务，我们提出了一种新颖的 Tensor-view 拓扑图神经网络 (TTG-NN)，利用持久同调、图卷积和张量运算构建了一种简单而有效的拓扑深度学习方法，能够同时捕捉局部和全局层面上的张量表示和图结构信息。在实际数据实验中，TTG-NN 在各种图基准数据上表现优于其他 20 种最先进的方法。

    Jan, 2024

  • 基于图神经网络和 BERT 嵌入的混合推荐系统

    利用图神经网络（GNN）和句子转换器嵌入，我们介绍了一个新颖模型，用于预测不同用户的动漫推荐。我们的模型不仅向用户推荐动漫，还预测特定用户对动漫的评分。该模型的混合化使我们能够捕捉动漫数据的跨层级和层级内特征。我们采用 GraphSAGE 网络进行模型构建，并使用加权均方根误差（RMSE）评估模型的性能。我们的方法有潜力显著提高动漫推荐系统的准确性和效果，并可以推广到其他需要个性化推荐的领域。

    Oct, 2023

  • GTC：GNN-Transformer 自监督异构图表示的共同对比学习

    提出了一种结合 GNN 和 Transformer 的新框架，利用 GNN 的局部信息汇聚和 Transformer 的全局信息建模能力解决过度平滑问题，构建了 GTC 体系结构，通过对跨视图信息进行自我监督的对比学习任务实现异构图形表示学习。

    Mar, 2024

  • 图注意力变换器

    该研究提出了一种图形变换器结构的分类体系，展示了其在分子预测等方面的潜力，探究了其在处理异质性图形及防止过多压缩等方面的效果，并提供了未来研究的方向和挑战。

    Feb, 2023