我们介绍了两组新的初始化方法：第一组是通过应用变分自动编码器来局部初始化权重组，第二组是通过应用图形超网络来全局初始化完整的权重集合。我们通过在精度、收敛速度和集成方面对采用的生成模型对最先进的神经网络进行了彻底的评估。结果表明，全局初始化导致更高的准确性和更快的初始收敛速度，然而通过图形超网络实现的方式会降低对于超出分布数据的集成性能。为了弥补这个问题，我们提出了一种叫噪声图形超网络的修改方法，鼓励在生成的集成成员中产生多样性。此外，我们的方法可能能够将学到的知识传递给不同的图像分布。我们的工作提供了对于这些新的初始化方法的潜力、权衡和可能修改的见解。

Oct, 2023

本研究分析了现有采样方法中存在的方差问题，提出了一种基于梯度信息和嵌入逼近的解耦合方差缩减策略，该方法即使在更小的批量尺寸下也具有更快的收敛速度和更好的泛化效果。

Jun, 2020

我们通过使用图神经网络（GNNs）进行节点表示学习，并结合高斯噪声来保护鲁棒性并减轻过度平滑问题，提出了一种名为 Graph Variational Diffusion Network（GVDN）的新型节点编码器。

Dec, 2023

本文分析了具有随机节点初始化的 GNNs 的表达力，证明了这些模型是通用的，这是 GNNs 的首个不依赖于计算要求更高阶特性的结果。我们基于精心构建的数据集，对 RNI 对 GNNs 的影响进行了经验分析。我们的实证结果支持 RNI 对于 GNNs 的优异表现。

Oct, 2020

本文研究了图神经网络的可扩展性和推广性，并提出了灵活的 GNNs 框架，通过多种节点更新函数和内部循环优化，使网络能够灵活适应新图并在多项推理任务中提高泛化能力。

Sep, 2022

通过分析图神经网络（GNNs）产生的嵌入的几何不稳定性，我们提出了一种简单高效且图本地的图 Gram 指数（GGI），用于测量这种不稳定性，并研究 GNN 嵌入在大型图上的变化不稳定行为，以进行节点分类和链路预测。

Aug, 2023

该论文提供了第一个针对具有一个隐层节点信息卷积的图神经网络（GNN）的可证明有效的学习算法，并开发了一种综合性框架来设计和分析 GNN 训练算法的收敛性。提出的算法适用于各种激活函数，包括 ReLU，Leaky ReLU，Sigmoid，Softplus 和 Swish，并对样本复杂度进行了特征化。数值实验进一步验证了理论分析。

Dec, 2020

本文提出了一种统一多种连续卷积的框架，并介绍了一种基于方差的权重初始化策略，能够在学习面对点云时避免批标准化的缺陷，并实现与批标准化类似或更好的性能。

Dec, 2021

提出了层顺序单元方差（LSUV）初始化 —— 一种用于深度学习网络权重初始化的简单方法，它包括两个步骤：使用正交矩阵预初始化每个卷积或内积层的权重，然后从第一层到最后一层，将每一层输出的方差标准化为 1。研究表明，该初始化方法使学习非常深的神经网络成为可能，其表现至少不逊于专门为此设计的复杂方案，并能在 MNIST、CIFAR-10/100 和 ImageNet 等数据集上实现接近最新水平的性能。

Nov, 2015

本文提出了一种基于 SGD 或 Adam 的预设超参数使得每个网络层的范数调整到最小损失值下的简单启发式算法 GradInit，旨在加速卷积结构和 Transformer 等神经网络模型的收敛和测试效果，而且还能提高模型训练的稳定性。

Feb, 2021