本文重新审视了使用SGD来训练深度神经网络的选择，通过重新考虑优化权重时所适当的几何方式，提出了一种几何不变，不受权重重放缩影响的Path-SGD方法，并结合与最大范数正则化相关的基于路径的正则化器，使用这种近似的最陡梯度下降方法，以改进SGD和AdaGrad的效果。

Jun, 2015

本文提出了一种基于多层核机的图像表示方法，并通过监督学习来调整核的形态。该方法构建了一种新的卷积神经网络，在一些深度学习数据集上取得了良好的分类表现，表明了该方法在图像相关任务中的应用价值。

May, 2016

本文研究了归一化二阶卷积特征的几种方式，其中以矩阵平方根归一化和元素平方根加L2归一化的方案为最佳，改进后在细粒度识别数据集上性能提高了2-3%。研究还发现，在边界情况得到合理处理后，用于计算梯度的数值方法与网络的最终准确性关系较小。本文最终提出一种快速实现效果相当的固定迭代次数方法，可用于GPU上进行实现。

Jul, 2017

我们通过对多个机器学习实例进行研究，证明了Batch Normalization在优化任务中的加速效果源于其将参数长度和方向分开进行优化，针对这些机器学习问题，Batch Normalization可以是一种收敛算法。

May, 2018

本文介绍了一个用几何角度来研究具有Normalization Layers的神经网络优化的球形框架，首先得出了Adam的第一个有效学习率表达式，并表明在存在NLs的情况下，仅执行SGD实际上等效于限制在单位超球面上的Adam变体，最后通过实验证实了之前Adam的变体对优化过程的影响。

Jun, 2020

本研究通过核方法的角度对卷积核网络进行了研究，发现其RKHS由补丁之间的交互项的加性模型组成，其范数通过汇聚层促进这些项之间的空间相似性，并提供了泛化界，以说明池化和补丁如何提高样本复杂度保证。

Feb, 2021

介绍了一种基于卷积结构的归一化方法(Convolutional Normalization)，它可以方便地作为模块嵌入到任何卷积神经网络(ConvNets)中，通过提高权重的正交性和每层的通道等距性，减小权重矩阵的层范数，提高网络的Lipschitzness并且提高GAN性能和普适性。

Mar, 2021

本研究探讨了一层卷积、汇集和降采样操作组成的核的RKHS，并用它来计算高维函数的一般化误差尖锐的渐近值。结果表明，卷积和池化操作在一层卷积核中如何在逼近和泛化能力之间权衡。

Nov, 2021

本研究探讨了神经网络中采样梯度沿优化路径的基本几何特性，发现这些特性在大多数训练期间保持稳定动态，并提供了线性收敛的理论保证和反映经验实践的学习率计划。

Jun, 2023

本文采用一种新方法，通过估计随机优化器的稳态分布，从多条优化轨迹的集合中综合评估，旨在解决当前对深度学习优化算法有效性的理解不完整的问题。通过合成函数和计算机视觉、自然语言处理等领域的实际问题的评估，我们着重在统计框架下进行公平的基准测试和建立统计显著性，揭示了训练损失与保持精确度之间的关系以及SGD、噪声使能变体和利用BH框架的新优化器的可比性能，值得注意的是，这些算法展示了与SAM等平坦最小值优化器相当的性能，但梯度评估减少了一半。我们期待我们的工作将促进深度学习优化的进一步探索，鼓励从单模型方法转向更加认识和利用优化器的随机性质的方法。

Mar, 2024