- UM2N:通向通用网格移动网络
利用 Universal Mesh Movement Network (UM2N) 基于 Graph Transformer (GT) 编码器和 Graph Attention Network (GAT) 解码器来提高 Partial Di - 自动图拓扑感知变形器
本研究提出了一种进化图变换器架构搜索框架(EGTAS),以自动化构建强大的图变换器。EGTAS 在宏观层面上演化图变换器的拓扑结构,在微观层面上演化图感知策略,并提出了基于通用编码的替代模型,以直接预测图变换器的性能,在降低演化搜索评估成本 - ICML图转换器中的过度全局化问题:精简即效果提升
我们在这篇论文中挑战了图变换器的全局化特性是否总是有益的观点,揭示了图变换器中的全局化问题,提出了一种新颖的双层全局图变换器与协作训练模型,以解决这一问题,并通过大量实验证明了我们提出的 CoBFormer 的有效性。
- ChebMixer: 高效的 MLP Mixer 图表示学习
本研究提出了一种名为 ChebMixer 的新型架构,它使用快速的基于 Chebyshev 多项式的谱滤波来提取一系列的节点表示,通过 MLP Mixer 对每个节点的多尺度表示进行改进,最终通过 Chebyshev 插值来聚合节点的多尺度 - VCR-Graphormer: 通过虚拟连接的小批量图转换器
用个性化 PageRank(PPR)对每个节点进行令牌化,并在此令牌列表上应用标准的多头自注意力机制,以计算其节点表示。借助 PPR 令牌化方法,使得以分批加载节点的令牌列表进行图转换器的小批量训练成为可能。此外,通过在结构和内容的基础上创 - 基于多组学采样的图变压器模型用于合成致死性预测
合成致死(SL)预测用于确定两个基因的共突变是否导致细胞死亡,其中最常见的策略是将 SL 预测抽象为 SL 数据中基因节点的边分类任务,并通过图神经网络(GNNs)实现,然而,GNNs 在信息传递机制中存在一些局限性,包括过度平滑和过度压缩 - 交通流预测的交通枢纽感知时空自适应图变换器
提出了一个用于交通流量预测的增量学习方法,通过设计一种空间自注意模块和时间自注意模块,同时利用空间 - 时间图转换器捕捉交通流量数据中的空间和时间依赖关系,并通过空间 - 时间知识蒸馏模块进行增量学习。
- AAAI基于原子模式对比变压器的分子性质预测
提出了一种新颖的 Atom-Motif Contrastive Transformer (AMCT) 模型,用于分子性质预测任务。该模型不仅探索了原子级别的相互作用,还考虑了分子中关键图案(e.g., 功能基团)之间的相互作用,并在学习框架 - Transformers 高效分层化化学图学习器
SubFormer 是一种图变换器,通过消息传递机制对子图进行操作,减少了标记数量,增强了学习长距离交互的能力。在预测分子属性和化学结构方面,SubFormer 与最先进的图变换器相比,在计算成本的一小部分情况下保持着竞争力,并且在消费级显 - 基于图学习的神经形态成像和分类
提出了一种新的图表示方法将事件数据与图转换器相结合,用于准确的神经形态分类任务。通过广泛实验表明,该方法在仅有少量事件和有限计算资源的困难真实场景中表现出优异效果,为嵌入移动设备的神经形态应用开辟了道路。
- LineMarkNet:代客泊车的线路标记检测
通过设计轻量级模组,提出了一种用于自动驾驶中的准确高效线路地标检测系统,该系统能够有效检测停车服务中的线路地标,并应用于 Qualcomm 820A 平台的实时检测。
- 图分割器:具有边界感知注意力的图变换器用于语义分割
我们提出了一种名为 Graph-Segmenter 的网络,其中包括 Graph Transformer 和 Boundary-aware Attention 模块,能够同时以全局和局部视角建模窗口之间更深入的关系以及窗口内各个像素的关系, - 增强属性聚类的图形转换:一种创新的图形转换器方法
本研究引入一种新的方法,将图自编码器与图变压器相结合,称为 GTAGC,以解决传统方法无法捕捉图中节点间复杂全局依赖情况的问题,该方法在基准数据集上表现出卓越性能,展现了图聚类方面的应用前景。
- 通过图转换器实现网络的鲁棒性学习
本文提出了一种新的、通用的韧性学习方法,通过图转换器完成对多方面的可控性鲁棒性学习和联通性鲁棒性学习任务,并通过大量实验证明其高精度和高速,具有强大的泛化能力和可转移的特征学习模块。
- 图神经网络的从局部到全局视角
该论文从局部到全局的角度,介绍了图神经网络的两种类型 —— 局部信息传递神经网络和全局图变换器,并对不变图网络的收敛特性进行了研究;连接局部信息传递神经网络和全局图变换器;使用局部信息传递神经网络实现了图缩减等全局建模中常用的子程序。
- GTNet:用于 3D 点云分类和语义分割的图形变换网络
该研究提出了一个名为 Graph Transformer 的新特征提取模块,它能够在局部和全局模式下学习点云特征。该模块将基于图形和变压器的方法的优点相结合,并包括局部变换器和全局变换器模块。在此基础上,构建了一个 3D 点云网络 GTNe - 图变换器的结构表达能力
介绍一种名为 SEG-WL 测试的算法,测试了结构编码对图 Transformer 的表达能力的影响,并提出了一种新的结构编码方法 Shortest Path Induced Subgraph。
- 可扩展图学习的分层 Transformer
本文介绍了一种名为 HSGT 的层级可伸缩图变换器,通过利用层次结构和基于采样的训练方法,高效地更新和存储多尺度信息,并使用 Transformer 块有效地捕获和聚合多级信息以实现节点表征学习任务在大规模图上的高性能表现。
- 自注意力在颜色中的应用:利用变形器编码图结构的另一种方法
本文提出了一种新颖的自注意机制,称为 CSA(Chromatic Self-Attention),并在完全注意的图变换器 CGT(Chromatic Graph Transformer)中展示了其应用,该变换器通过图中结构信息和边缘特征进行 - 使用 Transformer 学习场景图和图像之间的相似性
本研究通过引入对比学习框架,提出了一种用于测量图像和场景图相似性的图像 - 图形对齐方法,并且通过引入 R-Precision 作为新的评估指标,建立了基于 Visual Genome 和 Open Images 数据集的新基准。