Nov, 2023

高阶扩展图传播

PDF
TL;DR通过在边上交换信息，图神经网络对图结构化数据进行操作。然而，信息过于压缩问题限制了这种信息传递范式，可能导致信息丢失。为了解决这个问题，最新的研究探索使用低直径高连通度的稀疏图 —— 扩展图来进行信息传递。然而，现有的扩展图传播方法只考虑了两两交互，忽略了复杂数据中的高阶结构。为了探索在利用扩展图的同时捕捉这些高阶相关性的好处，我们引入了高阶扩展图传播。我们提出了两种构建二分扩展图的方法，并在合成数据集和真实世界数据集上评估了其性能。
发现论文，激发创造
  • 扩张图传播

    该研究使用扩展图形传递信息来提出了一种名为 EGP 的图神经网络，以解决全图分类或回归任务中的挑战，同时避免病态行为和过度压缩等问题，为解决 GNN 中的过度压缩问题开辟了一条新途径。

    Oct, 2022

  • 基于信息收缩和图扩展视角的 GNN 过度挤压问题

    提出一种用于分析过度压缩的基于信息收缩的框架，此分析是基于 von Neumann 的可靠计算模型的，该计算模型认为在噪声计算图中过度压缩会导致信号闷灭。同时，本研究提出了一种基于重连的算法来缓解过度压缩问题。

    Aug, 2022

  • 高阶路径上的神经消息传递

    本文介绍了一种基于图神经网络的新模型，利用更高阶的路径传播信息，可以更准确地预测分子的一些性质，比如化学基团和分子几何结构等方面。

    Feb, 2020

  • 高效神经化 Higher-order Belief Propagation

    本文提出了一种结合了图神经网络和概率图模型的方法，手段是利用一种高效的近似推理算法，将其嵌入到神经网络中实现端到端的学习，可以有效地捕捉节点和图之间的高阶关系，并在分子数据集上取得了明显优于基于 $k$ 阶图神经网络的最新效果。

    Oct, 2020

  • 扩展器图与通信高效的分散式优化

    本文讨论如何设计图形拓扑结构，以减少分散式优化算法的通信复杂度，发现扩展图形是最优选择之一，并提出三种方法以构建不同节点数和节点度数的扩展图形，数值结果显示分散式优化在扩展图形上的性能显著优于其他定期图形。

    Dec, 2016

  • PANDA: 扩展宽度感知的消息传递超越重连

    引入一种扩展型宽度感知信息传递（PANDA）的新信息传递范式，在网络结构中选择性地扩展具有高度中心性的节点，以解决 “过度压缩” 问题，并且在实验中表现优于传统的网络重连方法。

    Jun, 2024

  • 深度扩展网络：利用图理论构建高效深层网络

    本文提出了一种图形连接的 CNN 结构，其中使用扩展器图以提高连接效率和层间信息传递，与现有的 ResNets 和 DenseNet 及其变体相比可以在精度和效率方面达到更好的平衡。

    Nov, 2017

  • 提升表达能力的非冗余图神经网络

    基于邻域树的新型聚合方案提高了表达能力，减轻了过度压缩，并通过神经树规范化技术提供了高分类准确性。

    Oct, 2023

  • 修剪的循环神经网络层中的图扩展保留性能

    神经网络的稀疏性和强连通性是扩展属性，对于在资源受限平台上使用递归神经网络进行实时序列学习任务来说，剪枝是必要的。本研究探讨了保持递归网络的大型谱间隙和层级扩展属性的方法，以及关于它们双分层图特性的时间展开递归网络图研究。通过 MNIST、CIFAR-10 和 Google 语音指令数据的实验结果表明，扩展图特性对于保留递归神经网络和长短期记忆网络的分类准确性至关重要。

    Mar, 2024

  • 图神经网络中消息传递的学习

    该研究论文研究了学习图神经网络（GNNs）的信息传播策略的问题。为了克服图神经网络面临的传播策略定义问题，研究人员提出了一种学习传播框架，可以明确学习不同节点和各种类型图的易于理解和个性化的传播策略。通过对多种图基准进行广泛实验，结果表明该方法相较于其他最先进的方法具有显著的提高和在 GNNs 中能够有效地学习个性化和易于理解的传播策略。

    Oct, 2023