May, 2022

从多阶相互作用中发现并解释图神经网络的表示瓶颈

PDF
TL;DR本文探讨了图神经网络在不同复杂情况下捕捉节点之间相互作用信息的能力，并发现了当前机制存在的问题，提出了一种基于交互模式的新颖图重连方法以缓解表征瓶颈并提高性能。实验结果证明了该方法的有效性及其优于现有基准算法的表现。
graph neural networksmessage-passing paradigminteraction stylesgraph learning tasksgraph rewiring
发现论文，激发创造
  • 发现和解释深度神经网络中的表示瓶颈

    本文研究了深度神经网络的特征表示瓶颈，从输入变量在 DNN 中编码的交互复杂性的角度进行探讨，发现 DNN 更可能编码过于简单和过于复杂的交互，并且通常无法学习中等复杂度的交互。该现象被称为特征表示瓶颈，本文从理论上证明了其根本原因，并提出了一种损失函数来促进或惩罚特定复杂度的交互的学习，并分析了不同复杂度交互的表示能力。

    Nov, 2021

  • 图神经网络的瓶颈及其实际应用

    该研究指出图神经网络（GNN）在信息传播方面存在瓶颈问题，即信息在传输过程中容易被强行压缩而丢失长距离交互信息，而吸收入边的 GNNs 如 GCN 和 GIN 更容易发生这种情况，进一步反映当前模型优化中存在的问题。

    Jun, 2020

  • 融合基于检索的因果学习与信息瓶颈的解释性图神经网络

    开发了一种新的可解释因果图神经网络框架，结合图信息瓶颈理论和基于检索的因果学习，能够半参数地检索关键子图并通过因果模块压缩解释性子图，在真实世界的多样解释场景中表现出比现有方法更高的准确率和 32.71% 更高的预测能力。

    Feb, 2024

  • 图信息瓶颈

    本文介绍了一种基于信息瓶颈原理的图形数据表示学习方法 —— 图信息瓶颈，该方法通过优化平衡了图形网络结构和节点特征的表达方式的表达性和鲁棒性，设计了两种采样算法进行结构方面的正则化，并使用两个新模型：GIB-Cat 和 GIB-Bern 来实现 GIB 原则，证明了其比最先进的图形防御模型更具有鲁棒性。

    Oct, 2020

  • 图信息瓶颈的统一框架：鲁棒性和成员隐私

    本文提出一种新的图信息瓶颈框架，该框架可以通过邻域瓶颈减轻结构噪声，并在优化中加入伪标签以实现对成员隐私的保护，在真实世界数据集上进行了广泛的实验，证明了我们的方法可以提供强大的预测并同时保持成员隐私。

    Jun, 2023

  • 拓扑神经网络：通过高阶交互缓解图神经网络的瓶颈问题

    图神经网络在图结构化数据的表示学习任务中具有捕捉局部和全局模式的能力，但是长程和高阶依赖性带来了挑战。为了解决此问题，该论文提出了拓扑神经网络，并引入了基于拓扑结构的消息传递机制和多元关系归纳偏置，以更好地捕捉依赖关系和设计各向异性聚合方法。此外，还介绍了增强型细胞同构网络，通过增加拓扑消息传递机制，使环形结构中的节点组之间能够直接进行交互。

    Feb, 2024

  • 从节点相互作用到跳跃相互作用：新的有效和可扩展的图学习范例

    本篇研究提出了一种新的跳数交互范式 ——Hop Interaction paradigm 来同时解决 Graph Neural Networks 在可扩展性，平滑性方面的限制，并设计了 HopGNN 框架来优化模型效率和性能，最终实验结果表明该模型在广泛的数据集上表现卓越。

    Nov, 2022

  • 情境化信息强化图表示

    本论文从理论角度探索了具有不可数节点特征表示的图神经网络的表征能力，提出了一种新颖的软同构关系图卷积网络（SIR-GCN），并通过与其他常用图神经网络的数学关系进行验证，证明其在简单节点和图属性预测任务中优于其他模型。

    Mar, 2024

  • 通过曲率理解图形上的压缩和瓶颈

    本文研究图神经网络中信息传递中的 over-squashing 问题，通过引入基于曲率的重连方法以减轻该问题，同时探究其根源为图中负曲率边所导致的瓶颈现象。

    Nov, 2021

  • 图神经网络的泛化和表征限制

    本研究关注图神经网络的本质问题：无法仅仅依靠局部信息计算多个重要的图形特征；同时提出了信息传递图神经网络的第一个数据相关泛化界限，这一分析专门考虑了 GNN 局部置换不变性，该边界比现有的基于 VC 维度的 GNN 保证要紧密，与循环神经网络的 Rademacher 界限相当。

    Feb, 2020