Aug, 2023

雪花假设：用一节点一感受野训练深度神经网络

PDF
TL;DR我们研究了深度图神经网络的研究轨迹，发现其成功主要源于从 CNN 中采用的创新或定制的聚合算法，然而这些算法往往缺乏内在的可解释性，没有捕捉到不同节点之间的微妙差异。因此，我们提出了雪花假设，将其作为节点吸收领域的概念，通过最简单的梯度和节点间的余弦距离作为指导原则来调节每个节点的聚合深度，实验结果显示该假设具有广泛的应用潜力。
发现论文，激发创造
  • 异质雪花假设：训练和赋能异质图的 GNN

    通过构建 label predictor 及观察实验证明了异质图上的 Heterophily Snowflake Hypothesis，提供了一种用于异质图研究的有效解决方案，该方案可以集成到各种 GNN 框架中，提升性能并提供选择最佳网络深度的可解释方法。

    Jun, 2024

  • 迈向更深的图神经网络

    本研究对图神经网络进行深入探究，提出了解决深度学习中过度平滑问题的新方法，并通过实验证明了其在引文、合著和共同购买等领域的卓越表现。

    Jul, 2020

  • 神经雪花：通过可训练的潜在几何实现通用潜在图推理

    通过引入可训练的深度学习架构 —— 神经雪花，对给定的有限权重图进行等距嵌入，以适应动态重连或推断图的预测性下游性能，以实现低维等距嵌入潜在图，并通过与 MLP 编码器的组合，以低次多项式数量的参数使用，不陷入维度诅咒，从而实现改进的性能，而无需随机搜索最佳潜在几何结构。

    Oct, 2023

  • 解耦图神经网络的深度和范围

    为了解决现有 GNN 模型在图形和模型规模上的可伸缩性有限的问题，我们提出了一种设计原则来解耦 GNN 的深度和范围，从而获得更好的表达能力和更少的计算成本。

    Jan, 2022

  • GNNs，更强，更深，更快

    本研究以 k-hop 子图聚合为基础，提出了一种新的 GNN 表达能力分析视角和名为 SDF 的基于采样的节点级剩余模块，理论推导和大量实验证明 SDF 模块比以前的方法具有更高的表达能力和更高的效率。

    May, 2023

  • 深度图神经网络与浅层子图采样器

    本研究提出了一种 “深 GNN，浅采样器” 设计规则，通过利用深层次的 GNN 在一个浅层、局部的子图内传递信息，避免了在全局范围内过度平滑和邻域爆炸的问题，从而提高了 GNN 的准确性和效率。通过采用各种子图采样算法和神经架构扩展，研究人员在最大的公共图形数据集上取得了最先进的准确性，同时大幅减少了硬件成本。

    Dec, 2020

  • 通过图缩减扩展图神经网络规模

    本文提出了一种使用图粗化来实现可扩展 GNN 训练的不同方法，详细介绍了图粗化操作的影响和选择方法，并表明图粗化也可看作一种正则化手段。实证结果表明，简单地应用成熟的粗化方法，可以将节点数降低到原来的十分之一而不会导致分类精度的明显下降。

    Jun, 2021

  • 基于知识迁移的图少样本学习

    本文提出了一种基于 Graph Neural Networks 和 graph few-shot learning 算法的半监督节点分类方法，通过传递先前学习的辅助图中的结构知识来改进目标图上的分类精度，并在四个真实世界图数据集上的实验和消融研究中证明了该模型的有效性。

    Oct, 2019

  • 使用 1000 层图神经网络进行训练

    本研究提出了可逆连接、分组卷积、权重绑定和平衡模型以提高图神经网络的内存和参数效率，并发现可逆连接结构与深层神经网络架构相结合，使得训练的过参数化 GNNs 在多个数据集上显著优于现有方法。

    Jun, 2021

  • 关于训练图卷积网络深度的可证明优势

    本文针对图卷积网络（GCNs）在层数增多时表现下降的问题进行了研究，发现合理训练后更深的模型具有极高的训练准确性，但泛化能力较差。通过分析 GCNs 的泛化能力，本文提出了一种解耦结构，使得 GCNs 既能保留表达能力，又能保证较好的泛化性能。各种合成和真实数据集的实证评估证实了这一理论。

    Oct, 2021