基于硬核及通道注意力网络的图像表征学习
该文提出了一种新的网络架构 —— 门控注意力网络(GaAN),用于学习图形。该架构使用卷积子网络来控制每个注意力头的重要性,证明了其在归纳节点分类问题和交通速度预测问题上的有效性,并在三个真实世界数据集上取得了最先进的结果。
Mar, 2018
HOGA 是一种基于注意力机制的模型,能够在大规模、复杂电路问题中可扩展且具有泛化性,通过预先计算节点的逐跳特征并使用门控自注意力模块生成节点表示,自适应地学习不同跳之间的重要特征,因而适应不同电路结构,可在分布式环境下高效训练。在实验证明,与常规图神经网络相比,HOGA 在逻辑综合后的结果质量预测方面减少了 46.76% 的估计误差,在复杂技术映射后的看不见门级网络列表上识别功能块方面,HOGA 的推理准确率提高了 10%,而 HOGA 的训练时间几乎与计算资源的增加成线性关系。
Mar, 2024
该研究介绍了 Graph Attention Networks (GATs) 架构,它们被认为是最先进的图形表示学习架构之一,但存在限制性静态注意力机制,限制了它们在表达简单图形问题方面的能力;因此,提出了一种动态图形注意力变量 GATv2,相对于 GAT 更具表现力。
May, 2021
本文提出 Spectral Graph Attention Network 和 SpGAT-Cheby 两种新的基于注意力机制的子图表示学习算法,具备捕捉图形全局特征和更少的学习参数的能力,通过半监督节点分类实验验证了算法的效果。
Mar, 2020
本文提出了一种新的观点,即将数据定义为矩阵变量正态分布,并开发了一种直接运用于高维高阶张量数据的 Kronecker 注意力机制,相较于传统注意力机制,本文提出的方法大大降低了计算资源的需求,并在性能上优于未采用注意力机制和采用传统注意力机制的模型。
Jul, 2020
本文介绍了基于图神经网络中的注意力机制的表征性质,并发现由于忽略注意力汇聚中的基数信息,这些基于注意力机制的 GNNs 有时会失败,因此提出了一种能够保留基数信息的注意力模型,该模型可适用于任何类型的注意力机制,并在节点和图分类任务上取得了竞争性能.
Jul, 2019
本文提出新颖的神经网络结构图注意力网络(GATs),利用掩码的自我关注层处理图结构化数据的缺点,有效提出解决谱学派图神经网络中的几个关键挑战的方法,并在四个数据集上取得了最先进的结果。
Oct, 2017
该论文提出了一种基于 L0 正则化的 Sparse Graph Attention Networks,可以对大规模、复杂的图进行特征聚合,鲁棒性与有效性更高,达到与原始图相同或更高的预测性能;同时,其使用结果可视化和量化表达,让人更加容易理解。
Dec, 2019