Jun, 2024

关于多集合和图神经网络的 Holder 稳定性

PDF
TL;DR通过对多重集模型和消息传递神经网络的分离质量进行分析，我们提出了两个分离质量更高的新型消息传递神经网络，以及在标准图学习任务上与标准消息传递神经网络进行的比较。
multiset neural networksmessage passing neural networksseparation qualitylipschitz and h"{o}lder continuitygraph learning tasks
发现论文，激发创造
  • 图神经网络的细粒度表达能力

    该研究探讨了基于图神经网络的表达能力，提出了一种连续化的方法来反映图之间的相似程度并给出了各种拓扑特征的理论框架来描述基于树距离的图表达能力。

    Jun, 2023

  • 图神经网络的表达能力和逼近性质

    使用张量语言以及 Weisfeiler-Leman 测试为模型分析提供了一种优雅的方法，通过索引和求和嵌套深度的简单分析得到了对 GNN 的分离能力的边界和某些类的普适性结果，并提供了一些提高 GNN 分离能力的见解。

    Apr, 2022

  • 突破消息传递图神经网络的限制

    本文研究了基于图传递的神经网络（MPNNs），通过在频域设计非线性的自定义滤波器函数并使用任意大的感受野进行掩膜，其理论上比 1-WL 测试显得更加强大，且实际上具有与现有 3-WL 模型同样的性能，同时仍保持局部化。通过本方法可以实现 LOD 更新机制和输出谱复杂性，从而在许多下游任务中达到先进水平。

    Jun, 2021

  • 混合图上的消息传递网络的泛化界限

    研究了消息传递神经网络（MPNNs）的泛化能力，并给出了具体适用于具有规范化求和和平均聚合的 MPNNs 的泛化边界。在更现实和具有挑战性的情境下，通过分析简单的随机图、扰动的图标和稀疏图，得出结论表明，只要图形足够大，比训练集的大小复杂，MPNNs 仍然可以有效地泛化。

    Apr, 2024

  • 让我们达成一致：比较基于消息传递框架下的图卷积网络

    本文将图上定义的神经网络呈现为信息传递神经网络（MPNN），通过研究不同类别的这些模型的区别能力，探讨它们的识别能力，研究传统的图神经网络和卷积图神经网络对顶点进行特征标注的能力的界限，并使用 Weisfeiler-Lehman 算法对 MPNNs 的区分能力进行了上下界的研究。

    Apr, 2020

  • Weisfeiler 和 Lehman 走向拓扑学：消息传递简单复合网络

    使用简单复合体传递信息的 MPSNs 模型比传统的图神经网络有更广泛的表达能力，可以用于多级交互和区分非同构简单复合体。

    Mar, 2021

  • 关于 MPNN 中的特征向量维度性

    通过引入随机性来优化 MPNN (WL) isomorphism 测试的结果，本研究证实，对于任何非多项式解析 (如 sigmoid) 的激活函数，只需特征向量的维度 d=1，独立于图的大小，即可保证 MPNN 等价于 WL 测试。

    Feb, 2024

  • 使用图多重集池化准确学习图表征

    提出了一个基于 Multiset 编码原理的 Graph Multiset Transformer (GMT) 图池化方法，通过多头注意力机制捕捉节点的结构依赖关系，克服了现有图池化方法的局限性，并在各项图形任务上表现出了优越性。

    Feb, 2021

  • 符号非疗法：用于异构图学习的多集合到多集合信息传递

    图神经网络广受关注，特别是对于同构图数据有强大的建模和推理能力。为了增强在异构图中的性能，我们发现了一些带有潜在风险的 Signed Message Passing 的局限，并提出了一种新的消息传递方法 M2M-GNN，通过理论分析和实验证明 M2M-GNN 在解决 SMP 的局限性方面效果显著。

    May, 2024

  • 图嵌入神经网络的图信号分析

    本文针对以往工作的不足，引入了一种有意义的图信号相似度度量，提出了一种称为图信号切割距离的相似度度量，证明了 MPNN 可以在图信号度量空间中满足收敛性并得出了二次元情况下相似度度量的性质，进而提出了 MPNN 的泛化界和稳定性。

    May, 2023