深度神经网络解决方案是否形成星型空间？

Mar, 2024

Do Deep Neural Network Solutions Form a Star Domain?

Ankit Sonthalia, Alexander Rubinstein, Ehsan Abbasnejad, Seong Joon Oh

TL;DR该研究提出了一种新的算法 ——Starlight 算法，该算法可以找到给定学习任务的星型模型，并验证星型模型与其他独立找到的解之间的线性连接。此外，研究表明星型模型可以提供更好的贝叶斯模型平均的不确定性估计。

Abstract

Entezari et al. (2022) conjectured that neural network solution sets reachable via stochastic gradient descent (SGD) are convex, consideri

发现论文，激发创造

本研究证明了随机梯度下降法 (SGD) 可训练深度神经网络，甚至可以收敛于全局最小值。这一结果得益于多个实验验证了 SGD 可以遵循恒星凸轨迹和训练损失近似于零值等性质，并以新方式揭示了 SGD 以确定性方式收敛于全局最小值。

Jan, 2019

研究了负球面感知器模型中的能量壁垒、简单连接性质和优化动力学，并通过计算和数值模拟表征了解决方案空间的组织结构和转换过程。

May, 2023

研究了多层神经网络的优化问题，通过引入随机梯度下降和过度参数化，证明了神经网络的优化路径具有线性特性，且稳定性越来越高，去除部分神经元不影响结果。

Dec, 2019

本论文在研究多层神经网络的优化问题，发现随机梯度下降算法会收敛到一个全局最优点，且这一点具有很好的泛化能力。结果表明，适当的尺度下，随机梯度下降动态可以通过某个非线性偏微分方程捕捉，从而证明了 SGD 的收敛性。

Apr, 2018

神经网络景观中的连接模式包括线性路径和中心连接，提供了从一个极小值到另一个极小值的连接途径，同时突显景观在超参数化情况下可能具有凸性。

Apr, 2024

通过对大规模深层神经网络的优化方法的研究，我们证明了 SGD 可以在多项式时间内发现 DNNs 训练目标上的全局极小值。

Nov, 2018

本文重新审视了使用 SGD 来训练深度神经网络的选择，通过重新考虑优化权重时所适当的几何方式，提出了一种几何不变，不受权重重放缩影响的 Path-SGD 方法，并结合与最大范数正则化相关的基于路径的正则化器，使用这种近似的最陡梯度下降方法，以改进 SGD 和 AdaGrad 的效果。

Jun, 2015

本文研究证明随机梯度下降算法可以在一些非凸函数下工作，这说明了为什么 SGD 在神经网络中工作得非常好。

Feb, 2018

本研究讨论使用梯度下降和随机梯度下降算法进行训练具有 $L$ 层隐藏层的线性残差神经网络（ResNets）所需的网络宽度和线性变换；并且证明了在特定的线性变换和零初始化条件下，GD 和 SGD 算法能够收敛到最小训练误差的全局最小值。

Mar, 2020

本研究提出了三种算法，用于将一个模型的单元重新排列以与参考模型对齐，以便在权重空间中合并两个模型，实验结果表明了单一流域现象在各种模型架构和数据集中的存在，并讨论了模型宽度和训练时间与模式连通性的相关现象，同时证明了单流域理论的一个反例。

Sep, 2022