深度缩放 ResNets 在均场极限下的泛化性

ICLRMar, 2024

深度缩放 ResNets 在均场极限下的泛化性

Generalization of Scaled Deep ResNets in the Mean-Field Regime

Yihang Chen, Fanghui Liu, Yiping Lu, Grigorios G. Chrysos, Volkan Cevher

TL;DR在无穷深和宽神经网络的极限状态下，我们对被称为 scaled ResNet 的模型进行研究，以推导出其在 mean-field regime 下的泛化能力的界限，并提供了关于 Gram 矩阵最小特征值的全局下界、Kullback-Leibler 散度的线性收敛性以及 Rademacher 复杂度的统一收敛性，从而揭示了 lazy training regime 以外的深度神经网络通用化能力的新见解。

Abstract

Despite the widespread empirical success of resnet, the generalization properties of deep resnet are rarely explored beyond the lazy train

resnet scaled resnet generalization mean-field regime deep neural networks

发现论文，激发创造

深度残差网络及其扩展的平均场分析：通过深度超参数化实现可证优化

本文通过对深度残差网络进行连续极限的解释，提出了一种新的深度残差网络连续极限，推导出了多层神经网络在平均场规则下的首个全局收敛结果，并提出了几种基于新连续模型的训练方案，其中之一的训练程序在基准数据集上表现出很强的实证性能。

Mar, 2020

两层神经网络的平均场理论：无维界限和核极限

本文探讨利用随机梯度下降学习两层神经网络，将神经网络权重的演化近似为概率分布在 R^D 空间中的演化，从而得到概率分布的梯度流方程。我们分析了隐藏单元数量与数据规律性之间的相关性，扩展了此结果到无界激活函数的情况，将此结果应用到噪声随机梯度下降过程中，并展示了如何通过平均场分析特殊限制条件下的核岭回归。

Feb, 2019

多层神经网络均值场极限的严格框架

本研究发展了多层神经网络的数学严格框架，探究其在平均场条件下的学习轨迹，并证明了一些神经网络的性质，包括全局收敛性和初始化的影响。其中的新概念包括概率嵌入和双向多样性。

Jan, 2020

三层神经网络在均场极限下的全局收敛

本文在均场条件下证明了三层无正则化前馈神经网络的全局收敛性，首先建立起三层网络的均场极限，并证明了在合适的收敛模式假设和正则性假设下具有全局收敛保证。

May, 2021

某些深度神经网络的平均场极限

本文提出了一种适用于深度神经网络的缩放极限的解决方案，其权重可由被描述为平均场模型的理想粒子近似表示，该问题的关键在于我们的 McKean-Vlasov 问题存在唯一解。

Jun, 2019

一般化误差的平均场分析

通过对概率测度空间进行微分计算的视角，我们提出了一个探索算法的弱广义误差和 $L_2$ 广义误差的新框架。具体而言，我们考虑 KL - 正则化的经验风险最小化问题，并建立了通用条件，使得在训练样本大小为 n 的情况下，广义误差的收敛速率是 $O (1/n)$。在一隐藏层神经网络的平均场区域的监督学习方面，这些条件反映在对损失和激活函数的适当可积性和正则性假设中。

Jun, 2023

深度 ResNet 的过度参数化：零损失和平均场分析

研究无限深度和无限宽度下 Residual 神经网络中梯度下降和凸优化的等效性，得出当神经网络足够大时，ResNet 的训练可以得到几乎没有误差的近似解决方案。

May, 2021

深度神经网络的平均场分析

通过确定性的积分微分方程建模，研究网络尺寸与随机梯度下降迭代次数同时较大时多层神经网络的极限行为，证明任何隐藏层数目下的极限行为，并在合适的激活函数和行为的假设下，表明极限神经网络可恢复全局最小值（目标函数无损失）

Mar, 2019

图神经网络在均场区域的泛化误差

该研究提供了一个理论框架，用于评估图神经网络在过度参数化阶段中进行图分类任务的泛化误差，其中参数数量超过数据点数量。我们探索了两种广泛使用的图神经网络类型：图卷积神经网络和消息传递图神经网络。在该研究之前，过度参数化阶段对泛化误差的现有界限不具信息性，限制了我们对过度参数化网络性能的理解。我们的新方法涉及在平均场阶段内导出上界，用于评估这些图神经网络的泛化误差。我们建立了收敛速度为 $O (1/n)$ 的上界，其中 $n$ 为图样本数量。这些上界在具有挑战性的过度参数化阶段为网络在未知数据上的性能提供了理论保证，并且总体上有助于我们对它们性能的理解。

Feb, 2024

基于特征的建模：用于超参数化深度神经网络的平均场框架

该研究提出了一种新的均场框架用于超参数化深度神经网络的分析，利用概率分布和在连续极限下的功能来表示 DNN，并通过适当的重新参数化将其训练目标重新表述为凸优化问题，构建了一种称为神经特征流的非线性动力学来捕捉超参数化 DNN 的演化，证明了在均场区域中超参数化神经网络训练具有全局收敛性的首个全局收敛证明。

Jul, 2020