graph transformers | BriefGPT

关键词graph transformers

搜索结果 - 47

NTFormer：一种用于节点分类的复合节点标记图注意力转换器
通过引入名为 Node2Par 的新型令牌生成器，NTFormer 提出了一种新的图变换器，允许从不同的角度生成有价值的令牌序列，确保对丰富的图特征进行全面表达，并在各种基准数据集上进行了广泛的实验，证明了 NTFormer 在节点分类中的
PDF7 days ago
一种可扩展和有效的图变换器替代方案
图神经网络（GNN）在图表示学习方面表现出色，但由于其有限的表达能力，它们在捕捉长程依赖性方面面临挑战。为了解决这个问题，引入了图转换器（GTs），利用自注意机制来有效地建模成对的节点关系。尽管具有这些优势，GTs 在图中节点数目的平方复杂
PDF17 days ago
经典 GNN 是强基线：重新评估 GNN 用于节点分类
在本研究中，我们对三种经典的图神经网络模型（GCN、GAT 和 GraphSAGE）与图转换器（GTs）进行了全面的实证分析，发现之前对 GTs 的声称过于夸大，而稍作超参数调整后，这些经典 GNN 模型在 17 个多样化数据集中达到了最新
PDF21 days ago
从状态空间模型中，我们能在图机器学习上学到什么？
提出了一种名为 Graph State Space Convolution (GSSC) 的方法，该方法是 State Space Models (SSMs) 在图结构数据上的扩展，通过利用全局置换等变集合聚合和以节点之间的相对距离作为卷积
PDF25 days ago
通过随机游走学习图上的长程依赖
本文提出了一种名为 NeuralWalker 的新型架构，通过将随机游走视为序列，利用序列模型捕捉这些游走中的长程依赖关系，从而克服了消息传递图神经网络和图变换器方法的局限性，实现更具表达力的图表示，并能够使用任何序列模型来捕捉长程依赖关系
PDFa month ago
ICML图转换器泛化能力的提升方法：关注力机制和位置编码的理论探讨
该研究通过理论探索首次分析了浅层图变换器在半监督节点分类中的应用。它使用了自注意力和位置编码，并描述了实现理想的泛化误差所需的样本复杂度和迭代次数的定量特征。此外，文中还展示了自注意力和位置编码如何通过稀疏化注意力图和在训练过程中促进核心邻
PDFa month ago
通过虚拟节点的概率图重连
隐式重连消息传递神经网络 (IPR-MPNNs) 整合了概率性图重连机制，解决了信息传递受限和结构瓶颈导致的问题，实现了跨较大距离的消息传递，并在多个图数据集上取得了最先进的性能，同时保持了显著更快的计算效率。
PDFa month ago
身着荣誉：自注意力与虚拟节点
图形转换器是与全局自注意结合的消息传递 GNN 的图形处理模型，它们被证明是通用的函数逼近器，但依赖于位置编码来扩展初始节点特征。此研究对比了图形转换器和更高效的消息传递 GNN + 虚拟节点结构在图形大小上的一致表达性，并证明两种模型的表
PDFa month ago
AnchorGT：用于可扩展图变换器的高效灵活的注意力架构
通过全局感受野和几乎线性的复杂度，AnchorGT 提出了一种新颖的注意力结构，用于改进各种 GT 模型的可扩展性，实现更高的效果和更高的内存效率。
PDF2 months ago
公平感知的图转换器
为了解决图形转换器中存在的偏见问题，我们提出了一种公平感知图形转换器 FairGT，它采用了细致的结构特征选择策略和多跳节点特征整合方法，确保敏感特征的独立性并增强公平性考虑。在五个真实数据集上进行的实证评估表明，FairGT 在公平度量方
PDF2 months ago
IJCAIGradformer：具有指数衰减的图变换器
本文提出了 Gradformer，一种创新地将 GT 与内在归纳偏差集成的方法，通过将指数衰减掩码应用于注意力矩阵来实现。通过这种设计，Gradformer 保留了从远程节点捕获信息的能力，同时专注于图的局部细节。广泛的实验表明，Gradf
PDF2 months ago
CKGConv: 连续核的通用图卷积
我们提出了一种新颖的连续核图卷积（CKGConv）框架，通过将核函数参数化为通过图位置编码得到的伪坐标的连续函数，从而解决了在图域中定义通用卷积算子的挑战，该框架理论上证明了 CKGConv 的灵活性和表现力，并在实证中证明 CKGConv
PDF2 months ago
多视图图结构表示学习：基于图粗化
通过实验分析，我们探索将图结构作为整体像节点一样进行学习的可行性，并基于我们的发现，提出了一种基于图粗化的多视图图结构表示学习模型（MSLgo）来进行图分类。我们通过层次启发式图粗化压缩循环和团，并通过精心设计的约束进行限制，从而构建了粗化
PDF3 months ago
技术报告：图谱谱令牌 - 增强图变换器的谱信息
通过引入图谱记号和图谱信息，我们提出了一种新颖的方法，将图谱的全局结构直接编码到变换器架构中，以增强图变换器的效果和性能。
PDF3 months ago
关于高阶图变换器的理论表达能力和设计空间
系统研究了高阶图转换器和稀疏变体的理论表达能力，通过基于邻域信息的稀疏化，提高了传统模型的效率和表达能力。
PDF3 months ago
从场景图和自注意力生成 3D 场景
使用自我关注层和图变换器从场景图和楼层平面图中合成 3D 场景布局，生成更稀疏和多样化的场景。
PDF3 months ago
SGHormer：一种由脉冲驱动的节能图转换器
基于脉冲神经元的图形转换器（SGHormer）通过稀疏和二值化脉冲将全精度嵌入转化为稀疏和二值化脉冲，以降低内存和计算成本，并在 SGHormer 中的脉冲图自注意力和脉冲纠正块中明确捕获全局结构信息和恢复脉冲嵌入的表达能力。实验证明，SG
PDF3 months ago
SpikeGraphormer：具有脉冲图注意力的高性能图 Transformer
我们提出了将 SNNs 与 Graph Transformers 相结合的新颖观点，并设计了一个 Spiking Graph Attention (SGA) 模块，通过稀疏加法和掩码操作取代矩阵乘法。我们的 Spiking Graph At
PDF3 months ago
ICLR多项规范器：线性时间的多项式表达图转换器
Polynormer 是一个多项式表达的图形转换器模型，具有线性复杂度，通过采用局部和全局等变注意模型，实现了具有线性的本地到全局注意机制，从而实现了在大规模图上的表达能力和可扩展性的平衡。在 13 个数据集上的评估结果表明，Polynor
PDF4 months ago
通过位置编码比较图变换器
图转换器的区分能力与位置编码的选择紧密相关，本文旨在理解绝对位置编码和相对位置编码之间的关系，并展示了在图转换器中如何交换这两种类型的位置编码而保持它们的区分能力。基于理论结果，我们对几种位置编码进行了研究并比较了它们在转换器中的区分能力，
PDF4 months ago