- 神经网络物理模拟器中的不稳定性问题
通过分析神经网络在学习线性动力系统时的训练动态，我们发现在数据分布和权重初始化方案等方面可能会导致不稳定性和学习困难，并提出了相关的缓解策略。同时，我们探讨了离散时间和连续时间动力系统学习之间的重要区别以及对非线性系统的拓展。
- ICML更稀疏，更好，更深，更强：通过精确正交初始化改进稀疏训练
提出了一种基于随机 Givens 旋转组合的精确正交初始化方案（Exact Orthogonal Initialization，EOI），该方法能够在静态稀疏训练中实现高效稀疏的 1000 层 MLP 和 CNN 网络的训练，突出了在静态稀 - 在平均值中迷失：一种评估机器学习模型成员推理攻击的新特定设置
使用权重初始化作为唯一的随机源，我们提出了一种新的、特定的用于对 ML 模型的成员识别攻击（MIAs）进行评估的设置，从而准确评估了与特定数据集训练的模型的发布相关的风险。
- 基于阶段性权重共享的学习基因探索初始化变尺寸模型
建立适应不同应用场景中多样资源约束的变量大小模型，权重初始化是训练前的重要步骤。Learngene 框架通过从大型已训练模型中学习一部分紧凑的 Learngene，再将其扩展用于初始化变量大小模型。本文分析了指导已训练 Learngene - 深度线性网络中初始化对隐性偏差的作用
该研究聚焦于探索深度学习中的隐含偏差现象，具体研究了权重初始化对优化和泛化问题的影响，通过调查使用深度网络解决欠定线性系统问题时初始化的隐式正则化的作用，有助于更全面地理解深度学习的性能特点。
- 输入凸神经网络的基本权重初始化
输入凸性神经网络（ICNN）是能够保证输入 - 输出映射凸性的网络。本文通过对非负权重层的信号传播研究，推导出一种基于原理的 ICNN 权重初始化方法，实验证明这种初始方法有效加速了 ICNN 的学习和提高了泛化性能。此外，ICNN 还被应 - 超网络的原则性权重初始化
通过对超网络进行权重初始化，我们提出了更稳定的主网络权重、更低的训练损失和更快的收敛速度。
- 使用较大模型进行初始化
权重选择为在资源受限环境中训练小型模型提供一种新的方法，通过从预训练的大型模型中选择一部分权重，将知识迁移到更小的模型上，从而显著提升小型模型的性能并减少训练时间。
- 深且窄的前馈神经网络的改进权重初始化
通过引入新的权重初始化方法，本论文证明了所提出的初始权重矩阵的特性，展示了这些特性如何促进信号向量的有效传播，并通过一系列实验和与现有方法的比较展示了新的初始化方法的有效性。
- 神经网络中表征学习和性能预测的量化方法
本文提出了一种基于伪核的新工具，用于分析和预测网络学习到的表示，通过验证其在简单测试案例上的使用，本文论证了该方法可预测权重初始化和训练计划对表示学习和下游并发多任务执行表现的影响。
- 脉冲网络初始化与射频崩溃
本文提出一种解决 spiking neural networks 初始权重选择的方法，其中结合了 ANN 的方差传播技术和扩散和 shot-noise 逼近的方法来获得预期的放电率和膜电位分布，并成功解决了射频崩溃问题。
- 通过激活函数发现和自动权重初始化优化神经网络
该论文介绍了发现更强大的激活函数和建立更稳健的神经网络权重初始化的技术，改进了 AutoML 的性能，提供了神经网络优化的新视角，使自动机器学习有了更进一步的发展。
- ICML张量卷积神经网络统一权重初始化范式
本篇文章研究了张量卷积神经网络的权重初始化问题，并提出了普适的初始方法，其中包括引入了 Reproducing Transformation，以及基于前向和反向传播操作符的 fan-in 和 fan-out 初始化方法，实现了对张量卷积神经 - ECCV针对点卷积神经网络的方差感知型权重初始化
本文提出了一种统一多种连续卷积的框架，并介绍了一种基于方差的权重初始化策略，能够在学习面对点云时避免批标准化的缺陷，并实现与批标准化类似或更好的性能。
- AAAIAutoInit: 神经网络分析信号保持的权重初始化
本文介绍了一种自适应不同神经网络结构的权重初始化算法 AutoInit，该算法通过跟踪信号传播时的均值和方差，适当地调整每层的权重，从而避免信号爆炸或消失。实验证明，AutoInit 在各种激活函数、正则化、学习率和归一化设置下，都能提高卷 - 彩票票保留权重相关性：是可取还是不可取？
通过研究神经网络模型剪枝，提出了 “Lottery Ticket Hypothesis”，发现神经网络的初始化和学习率等条件会影响最优子网络的提取，同时提出 “Pruning & Fine-tuning” 方法来优化剪枝和训练，实验证明该方 - Dying ReLU 和初始化：理论与数值例子
本文研究深度神经网络中的 ReLU 激活函数在无限深度时可能出现神经元失活的问题，并提出一种新的不对称初始化方法以解决该问题。研究表明，该方法能够有效地预防神经元失活，并给出了实验结果进行验证。
- 激活函数对深度神经网络训练的影响
通过对「边缘混沌」的理论分析，研究了深度神经网络中各参数的选取对模型训练加速和性能提升的影响。
- 深度神经网络初始化和激活函数的选择
这篇论文研究了深度神经网络的权重初始化和激活函数对其训练性能的影响，证明了边缘混沌状态具有优异的表现，同时提出了一类叫做 Swish 的激活函数，可以优化信息传递。
- 深度神经网络 MNIST 分类任务的非线性激活函数比较
本文介绍了常见的非线性激活函数，并对它们的特点进行了评估。同时，分析了深层神经网络及其与权重初始化方法的关系，其中将特别关注节点的入度和出度对整个网络的影响。