Jun, 2024

深度神经网络超参数化的局部线性恢复保证

PDF
TL;DR在深度学习理论中，我们引入了 “局部线性恢复”（LLR）的概念，证明了表达能力较弱的深度神经网络（DNN）可从更少数量的样本中恢复，而且对于两层 tanh 神经网络，我们还证明了这一结果的最优情况。我们的研究为进一步研究过参数化情况下 DNN 的恢复能力奠定了坚实的基础。
deep neural networktarget function recoverylocal linear recoveryoverparameterizationoptimistic sample sizes
发现论文，激发创造
  • 一层隐藏层神经网络的恢复保证

    本文考虑使用单隐藏层神经网络模型去解决回归问题，探讨了激活函数的属性，比如 ReLU、leaky ReLU、sigmoid 等都满足局部强凸性。文中还提出了使用张量方法对参数进行初始化，并配合梯度下降算法使用来解决回归问题。最终达到了使用线性的输入维数和对数精度计算复杂度的样本复杂性和计算复杂性要求。

    Jun, 2017

  • 关于学习超参数化神经网络的函数逼近视角

    研究了使用梯度下降法在过度参数化的双层神经网络中训练，证明了在足够过度参数化的条件下，GD 方法可以近似地将振幅算子的幂应用于生成响应 / 标签的基础 / 目标函数 $f^*$，并且提供了使用低秩逼近来减少经验风险的线性速率的足够条件，介绍了适用于球面上的多项式的一般结果的应用

    May, 2019

  • 学习超参数化深度 ReLU 网络的梯度下降泛化误差界

    通过算法依赖的综合误差界推导，论文解释了过度参数化的深度神经网络在合适的随机初始化下，使用梯度下降法可以获得任意小的泛化误差。

    Feb, 2019

  • 使用过参数化的浅层 ReLU 神经网络进行非参数回归

    对于从某些光滑函数类中学习函数的任务，如果权重限制或正则化得当，超参数化神经网络可以实现最小极值收敛率 (加上对数因子)。

    Jun, 2023

  • 正则化很重要：关于过度参数化神经网络的非参数视角

    本文研究了超参数化神经网络在存在随机噪声的情况下恢复真实目标函数的能力，证明了采用 L2 正则化的神经网络与相应的神经切线核的核岭回归输出相似，并可以实现 L2 估计误差的最佳最小值，数值实验证实了该理论，同时表明 L2 正则化方法提高了训练的鲁棒性并适用于更广泛的神经网络。

    Jul, 2020

  • 深度学习的超参数化收敛理论

    通过对大规模深层神经网络的优化方法的研究，我们证明了 SGD 可以在多项式时间内发现 DNNs 训练目标上的全局极小值。

    Nov, 2018

  • 深度神经网络的惰性训练下的良性过拟合

    该论文探讨和证明了过参数化的深度神经网络利用懒惰训练策略可以实现贝叶斯最优测试误差，同时获得（几乎）零训练误差，并提出了三个相关概念的统一。

    May, 2023

  • 轻度超参数化双层神经网络的局部收敛理论

    本文研究了过度参数化对于神经网络构建优化的成功至关重要的原因，并发现过度参数化下的神经网络具有非常稳定的收敛性质，其学生节点不断向教师节点收敛，并有一个漂亮的收敛速率定理，该速率与学生节点的数量无关。

    Feb, 2021

  • SGD 学习过参数化的网络，并可应用于线性可分数据的证明泛化

    通过学习两层的过参数化神经网络在使用 Leaky ReLU 激活函数的情况下，为 SGD 进行了优化和泛化的保证，具有独立于网络规模的泛化保证。

    Oct, 2017

  • 多层神经网络训练无坏局部最小值：针对数据的独立误差保证

    通过平滑分析技术，我们对具有分段线性激活函数、二次损失和单输出的多层神经网络（MNN）在可微的局部极小值处的训练损失提供保证。特别地，我们证明对于一个具有一个隐藏层的 MNN，几乎每个数据集和 dropout-like 噪声实现的每个可微局部极小值的训练误差都是零，然后将这些结果扩展到多个隐藏层的情况。我们的理论保证对训练数据几乎没有限制，并得到了数值验证。这些结果说明了为什么这些 MNN 的高度非凸损失可以通过局部更新（例如随机梯度下降）进行易于优化，这与经验证据相符。

    May, 2016