Jul, 2020

基于特征的建模：用于超参数化深度神经网络的平均场框架

PDF
TL;DR该研究提出了一种新的均场框架用于超参数化深度神经网络的分析，利用概率分布和在连续极限下的功能来表示 DNN，并通过适当的重新参数化将其训练目标重新表述为凸优化问题，构建了一种称为神经特征流的非线性动力学来捕捉超参数化 DNN 的演化，证明了在均场区域中超参数化神经网络训练具有全局收敛性的首个全局收敛证明。
mean-field frameworkover-parameterized deep neural networksneural network trainingconvex optimization problemglobal convergence proof
发现论文，激发创造
  • 深度残差网络及其扩展的平均场分析：通过深度超参数化实现可证优化

    本文通过对深度残差网络进行连续极限的解释，提出了一种新的深度残差网络连续极限，推导出了多层神经网络在平均场规则下的首个全局收敛结果，并提出了几种基于新连续模型的训练方案，其中之一的训练程序在基准数据集上表现出很强的实证性能。

    Mar, 2020

  • 多层神经网络均值场极限的严格框架

    本研究发展了多层神经网络的数学严格框架，探究其在平均场条件下的学习轨迹，并证明了一些神经网络的性质，包括全局收敛性和初始化的影响。其中的新概念包括概率嵌入和双向多样性。

    Jan, 2020

  • 深度 ResNet 的过度参数化：零损失和平均场分析

    研究无限深度和无限宽度下 Residual 神经网络中梯度下降和凸优化的等效性，得出当神经网络足够大时，ResNet 的训练可以得到几乎没有误差的近似解决方案。

    May, 2021

  • 某些深度神经网络的平均场极限

    本文提出了一种适用于深度神经网络的缩放极限的解决方案，其权重可由被描述为平均场模型的理想粒子近似表示，该问题的关键在于我们的 McKean-Vlasov 问题存在唯一解。

    Jun, 2019

  • 三层神经网络在均场极限下的全局收敛

    本文在均场条件下证明了三层无正则化前馈神经网络的全局收敛性，首先建立起三层网络的均场极限，并证明了在合适的收敛模式假设和正则性假设下具有全局收敛保证。

    May, 2021

  • 两层神经网络的平均场理论：无维界限和核极限

    本文探讨利用随机梯度下降学习两层神经网络，将神经网络权重的演化近似为概率分布在 R^D 空间中的演化，从而得到概率分布的梯度流方程。我们分析了隐藏单元数量与数据规律性之间的相关性，扩展了此结果到无界激活函数的情况，将此结果应用到噪声随机梯度下降过程中，并展示了如何通过平均场分析特殊限制条件下的核岭回归。

    Feb, 2019

  • 基于学生 - 老师框架的随机特征模型的在线学习

    研究了两层神经网络中过参数化对学生 - 教师框架的影响，发现只有当学生的隐藏层数量指数级大于输入维度时，才能达到完美的泛化。同时计算了其渐进的泛化误差。

    Mar, 2023

  • 深度神经网络的学习曲线：高斯场理论视角

    使用一种物理学方法对深度学习进行研究，通过重整化群、Feynman 图和副本构造了一个多功能场论形式体系用于分析高度超参数化情况下的深度学习，研究表明 DNNs 除了高度超参数化外，仍然具有解释性和预测性 —— 偏向于简单函数。

    Jun, 2019

  • 过参数化深度神经网络的凸优化表述

    通过广义上名为神经元特征重新填充的技术，我们解决了分析训练后的深度神经网络的根本问题，并表明适当地表示时，过度参数化的深度神经网络固有地是凸性的，因此提供了解释深度神经网络实践成功的可靠理论依据.

    Nov, 2019

  • 深度缩放 ResNets 在均场极限下的泛化性

    在无穷深和宽神经网络的极限状态下，我们对被称为 scaled ResNet 的模型进行研究，以推导出其在 mean-field regime 下的泛化能力的界限，并提供了关于 Gram 矩阵最小特征值的全局下界、Kullback-Leibler 散度的线性收敛性以及 Rademacher 复杂度的统一收敛性，从而揭示了 lazy training regime 以外的深度神经网络通用化能力的新见解。

    Mar, 2024