单跳节点分类的 Twister 设置

AAAIDec, 2021

Set Twister for Single-hop Node Classification

Yangze Zhou, Vinayak Rao, Bruno Ribeiro

TL;DR研究了节点分类问题中使用更强大的置换不变函数是否能避免分类器收集 $1$ -hop 以外的信息。引入了一种新的架构，即 Set Twister，扩展了 DeepSets 的表达能力，同时保持了它的简单性和低计算成本，在多项任务中比 DeepSets、图神经网络和集体推理方案表现更优秀。

Abstract

node classification is a central task in relational learning, with the current state-of-the-art hinging on two key principles: (i) predictions are permutation-invariant to the ordering of a node's neighbors, and

node classification relational learning graph neural networks collective inference set twister

发现论文，激发创造

循环距离编码神经网络用于图表示学习

通过最短距离和线性循环网络，我们提出了一种新的图神经网络架构，以解决信息提取和计算复杂度的挑战，并在各个基准测试中展示了与最新颖的图转换器相比性能具有竞争力且计算复杂度大大降低。

Dec, 2023

通过改善具有局部混合模式的图的同配性来突破图神经网络的限制

在图神经网络中，提出用节点级异质性度量替代全局同质性系数来更好地表示网络节点的混合模式，进而设计了一种改进的计算图结构，并在此基础上提出一种自适应选择结构与接近度信息的模型，以取得更好的性能，其中针对半监督节点分类任务进行的实验也取得了良好的结果。

Jun, 2021

InfiniteWalk：带有非线性的拉普拉斯嵌入的深度网络嵌入

本研究通过对窗口大小 T 趋近于无限大的情形下，对 Qiu 等人的目标函数进行简化，证明了其将 DeepWalk 与谱图嵌入联系在一起的结论，并表明非线性性质是现有方法的核心进展。

May, 2020

概率重连的消息传递神经网络

利用最近在精确和可微分的 k 子集采样中的进展，我们设计了一种概率重连的消息传递图神经网络（PR-MPNNs），该网络学习在省略不太有益的边的同时添加相关边。首次，我们的理论分析探索了 PR-MPNNs 如何增强表达能力，并且我们确定了它们优于纯随机方法的精确条件。经验证实，我们的方法有效地缓解了如过度压缩和预测能力不足等问题。此外，根据现有的真实世界数据集，我们的方法在预测性能上与传统的 MPNN 模型和最近的图变压器架构相比表现出有竞争力或更好的性能。

Oct, 2023

通过影响分析从图神经网络中恢复私有边

本研究研究了在具有垂直数据分割（即不同的数据持有者具有节点特征或边缘信息）的场景下，如何通过使用图神经网络和差分隐私技术来保护边界隐私以进行联合训练，其结论表明，现有的机制往往存在泄漏隐私的风险。

Aug, 2021

超图上的随机游走

本篇研究提出了一种基于高阶网络结构的新型随机游走模型，探究高阶网络中的扩散过程及其对信息扩散的影响，旨在揭示复杂网络系统中偏向性信息传播机制并成功应用于多特征对象分类任务中。

Nov, 2019

通过随机游走学习图上的长程依赖

本文提出了一种名为 NeuralWalker 的新型架构，通过将随机游走视为序列，利用序列模型捕捉这些游走中的长程依赖关系，从而克服了消息传递图神经网络和图变换器方法的局限性，实现更具表达力的图表示，并能够使用任何序列模型来捕捉长程依赖关系，同时具备集成各种图神经网络和图变换器架构的灵活性。实验证明，NeuralWalker 在 19 个图和节点基准数据集上取得了显著的性能改进，在 PascalVoc-SP 和 COCO-SP 数据集上的性能超过现有方法高达 13%。

Jun, 2024

图元修正随机游走错过的拓扑信息

通过引入轨道连接来捕捉所有拓扑邻域信息，我们提出了一个新的网络嵌入方法，与基于随机游走的方法相比，能够更好地预测节点标签，证明了包括随机游走无法捕捉到的拓扑邻域信息的重要性。

May, 2024

通过虚拟节点的概率图重连

隐式重连消息传递神经网络 (IPR-MPNNs) 整合了概率性图重连机制，解决了信息传递受限和结构瓶颈导致的问题，实现了跨较大距离的消息传递，并在多个图数据集上取得了最先进的性能，同时保持了显著更快的计算效率。

May, 2024

重温图上的随机游走学习

通过对图的随机游走产生机器可读的记录，并通过深度神经网络处理这些记录，直接进行顶点级或图级的预测，我们重新审视了图上机器学习的一个简单思想。我们称这些随机机器为随机游走神经网络，并表明我们可以设计它们成为同构不变并具备概率下图函数的通用逼近能力。一个有用的发现是，只要顶点匿名，几乎任何种类的随机游走记录都保证了概率不变性。这使得我们能够以纯文本的形式记录随机游走，并采用语言模型读取这些文本记录以解决图任务。我们进一步使用马尔科夫链理论中的工具，建立了与消息传递神经网络的并行性，并表明随机游走神经网络在构建过程中减轻了消息传递中的过度平滑，而概率性不达到则表现为概率性不足。我们展示了基于预训练模型的随机游走神经网络能够解决图上的一些难题，如分离三阶通用 WL 测试失败的强正则图、计数子结构和在 arXiv 引用网络上进行传导分类，而无需训练。代码可在此链接中获取。

Jul, 2024