本研究提出了一种逐步训练神经网络的方法，该方法通过将现有神经元分裂成多个比较小的单元，从而自适应地增长网络结构。该方法的优点在于其使用了一种名为函数最速下降法的思路来决定神经元裂变的最佳子集并进行最优更新。这种方法提供了一种新的高效优化神经网络结构的方法，特别适合在资源受限的环境下学习轻量级神经结构。

Oct, 2019

本文介绍了一种基于符号的压缩方法，即 Stochastic Sign Descent with Momentum（SSDM）, 用于在分布式环境下解决符号 SGD 方法的收敛问题，同时可以保持 1 位压缩和小批量大小。

May, 2019

在深度学习模型中，找到最佳大小对于节能取得高广泛影响。 通过恰当的条件，可能避免双下降现象，其中模型大小增长时性能会先变差然后变好，以维持高泛化的效果需要充分过参数化的模型，但添加太多参数会浪费培训资源。在复杂情况下，正则化已经对避免双下降产生了积极作用。

Feb, 2023

在能效方案中，找到深度学习模型的最佳大小非常重要且具有广泛的影响。本文的研究目标是高效地寻找最佳折中方法，针对稀疏双下降现象提出了解决方案，包括使用 L2 正则化方法以及通过知识蒸馏来规范学生模型，实验结果表明这些方法可以避免该现象的发生。

Aug, 2023

本文探讨了过度参数化模型，特别是深度神经网络，在训练期间错误率的演化现象，其原因是来自于不同部分在不同时期学习带来的偏差 - 方差权衡嵌套问题。通过合理调整步长，可以显著提高早停指标。

Jul, 2020

本文介绍了基于符号的优化方法在分布式优化中有良好的通信成本和在神经网络训练中具有出色的性能。同时探讨了分离平滑性与∞- 平滑性之间的联系，指出后者是更弱和更自然的假设。研究表明，在深度网络中，如果 Hession 矩阵在对角线方向上集中，并且其最大特征值远大于平均特征值，则符号法比梯度下降更优。

Feb, 2020

本研究主要探讨过参数模型中采用 stochastic mirror descent 方法，在足够小的步长下，通过初始化接近全局最小值，其可以收敛和迭代到一种接近 Bregman 散度且具有更好泛化性能的解决方案，并探究该方法中不同的隐式正则化方式对结果表现的影响。

Jun, 2019

本文提出了一种称为可调子网络分割方法（Tunable Subnetwork Splitting Method，TSSM）的重新方法，该方法可以在并行优化中实现深度神经网络的分解粒度的优化，以实现并行性和准确性之间的完美折衷。两种方法通过 TSSM 公式进行求解，并在五个基准数据集上进行实验证明，提出的 TSSM 可以显着提高速度，同时不会降低训练准确性。

Sep, 2020

该论文研究了双下降现象在两层神经网络中的作用，重点关注了 L1 正则化和表示维度的作用。研究探讨了稀疏双下降这一替代的双下降现象，并强调了模型复杂度、稀疏性和泛化之间的复杂关系，建议进一步研究更多样化的模型和数据集。这些发现有助于深入理解神经网络的训练和优化。

Jan, 2024

我们介绍了一种新颖的动态学习率调度方案，旨在简化实践中手动而耗时的调度。我们的方法基于估计局部最优步长，确保在当前步骤的随机梯度方向上实现最大下降。我们首先在平滑的非凸随机优化环境中建立了我们方法的理论收敛边界，与最新的边界相匹配，仅假设对平滑参数具有知识。然后，我们提出了我们算法的实际实现，并在不同数据集和优化算法上进行系统实验，将我们的方案与现有的最新学习率调度器进行比较。我们的发现表明，与现有方法相比，我们的方法需要最少的调整，消除了辅助手动调度和预热阶段的需要，并实现了具有大大减少参数调整的可比性能。

Nov, 2023