本研究提出自动设计深层 GNN 的方法,其中添加了新型的跳跃连接以促进特征重用和缓解梯度消失问题,并允许进化算法在演化过程中增加 GNN 层数来生成更深的网络,在 Cora、Citeseer、Pubmed 和 PPI 数据集上实验表明,GNNs 的生成结果具有最先进的性能。
Nov, 2020
本研究对图神经网络进行深入探究,提出了解决深度学习中过度平滑问题的新方法,并通过实验证明了其在引文、合著和共同购买等领域的卓越表现。
Jul, 2020
本研究通过将 CNN 的残差连接和扩张卷积应用到 GCN 体系结构中,成功地解决了 GCN 中梯度消失的问题,构建了深层的 GCN,实现了更好的点云语义分割表现。
Apr, 2019
该论文提供了第一个针对具有一个隐层节点信息卷积的图神经网络(GNN)的可证明有效的学习算法,并开发了一种综合性框架来设计和分析 GNN 训练算法的收敛性。提出的算法适用于各种激活函数,包括 ReLU,Leaky ReLU,Sigmoid,Softplus 和 Swish,并对样本复杂度进行了特征化。数值实验进一步验证了理论分析。
Dec, 2020
本研究提供了第一个公平、可重复的基准测试,重点研究了训练深度图神经网络中的技巧,并利用该测试在数十个代表性图数据集上进行了全面评估,证明了初始连接、标识映射、分组和批量归一化的有机组合实现了深度 GNN 在大型数据集上的最新成果。
Aug, 2021
本篇论文介绍了如何将残差 / 稠密连接和扩张卷积等深度卷积神经网络中的概念应用于图卷积网络中,从而成功地训练出多达 112 层的深度图卷积网络,该方法在多个数据集和任务中展示出了非常良好的表现。
Oct, 2019
本文研究了将深度学习方法推广到图论领域,通过对比 RNN 和 ConvNet 的效果,将门控边缘和残差技术用于设计神经网络对图学习任务进行分类,获得了比现有方法更高的准确率和更快的速度。
Nov, 2017
本文提出了一种有效构建深度图神经网络的方法。该方法利用动力系统中固定点的思想,通过递归神经网络实现,并采用深度架构组织递归单元。我们证明了即使在没有训练递归连接的情况下,小型的深度图神经网络的性能也能达到或超过当前最先进的图分类任务水平。
Nov, 2019
本文针对图卷积网络(GCNs)在层数增多时表现下降的问题进行了研究,发现合理训练后更深的模型具有极高的训练准确性,但泛化能力较差。通过分析 GCNs 的泛化能力,本文提出了一种解耦结构,使得 GCNs 既能保留表达能力,又能保证较好的泛化性能。各种合成和真实数据集的实证评估证实了这一理论。
Oct, 2021
本文提出了一种名为 DeeperGCN 的新型 Graph Convolutional Networks,它有效地解决了深度较大的 GCNs 存在的梯度消失、过度平滑和过度拟合等问题,实现了对大规模图数据的成功且可靠的训练,并在 Open Graph Benchmark (OGB) 上进行的实验证明其在节点属性预测和图形属性预测的大规模图形学习任务中比现有技术有显著提高。
Jun, 2020