Mar, 2024

理解具有条件最优输运的无限深度和宽度的 ResNet 的训练

PDF
TL;DR该研究探讨深度神经网络训练中的梯度流收敛问题，并提出了一种基于条件最优传输距离的训练模型，通过梯度流方程的良定性和多项式 - Lojasiewicz 分析证明了在适当的初始化条件下，梯度流可以收敛于全局极小值。
convergencegradient flowdeep neural networksmean-field modelresidual neural networks
发现论文，激发创造
  • 深度残差网络及其扩展的平均场分析：通过深度超参数化实现可证优化

    本文通过对深度残差网络进行连续极限的解释，提出了一种新的深度残差网络连续极限，推导出了多层神经网络在平均场规则下的首个全局收敛结果，并提出了几种基于新连续模型的训练方案，其中之一的训练程序在基准数据集上表现出很强的实证性能。

    Mar, 2020

  • 深度 ResNet 的过度参数化：零损失和平均场分析

    研究无限深度和无限宽度下 Residual 神经网络中梯度下降和凸优化的等效性，得出当神经网络足够大时，ResNet 的训练可以得到几乎没有误差的近似解决方案。

    May, 2021

  • 使用最优传输理论分析过参数化模型上梯度下降的全局收敛性

    利用粒子混合模型及连续时间梯度下降对机器学习与信号处理中的测量值进行凸函数最小化，特别是在使用单个隐藏层的神经网络进行训练时，可通过 Wasserstein 梯度流达到全局最小值。

    May, 2018

  • 深度学习中的方向收敛和对齐

    本文证明了通过梯度流学习方法得到的深层同质网络权重会趋向于收敛，并阐述了相应的研究内容，包括但不限于梯度流、分类损失、边缘最大化、显著图等方面。

    Jun, 2020

  • 使用正则化最优传输训练 GAN 的收敛性和鲁棒性

    本文通过基于正则化最优传输的平滑 Wasserstein GAN 公式实现梯度信息的获取，从而实现对该目标函数的一阶优化，为一类生成对抗网络优化算法建立了理论收敛保证，且仅需要解决鉴别器问题以近似最优。该算法计算效率高，应用于 MNIST 数字以及 CIFAR-10 图像数据集相比其他同等架构和计算能力的算法生成的图像效果显著。

    Feb, 2018

  • 关于训练深层线性 ResNets 的全局收敛性

    本研究讨论使用梯度下降和随机梯度下降算法进行训练具有 $L$ 层隐藏层的线性残差神经网络（ResNets）所需的网络宽度和线性变换；并且证明了在特定的线性变换和零初始化条件下，GD 和 SGD 算法能够收敛到最小训练误差的全局最小值。

    Mar, 2020

  • OT-Flow 样本生成的收敛性分析

    深度生成模型 OT-Flow 的收敛性研究及蒙特卡洛方法在训练中的应用

    Mar, 2024

  • 神经梯度下降上升的均场分析：应用于功能条件矩方程

    通过研究定义在无限维函数类上的极小极大优化问题，我们限定函数在过度参数化的两层神经网络类上，并研究（i）梯度下降 - 上升算法的收敛性和（ii）神经网络的表示学习。

    Apr, 2024

  • 神经常微分方程作为具有恒定权重的 ResNets 的深度极限

    本研究证明，当深度趋近于无限时，共享同一权重矩阵的 ResNet 类型深度神经网络上的随机梯度下降收敛于神经 ODE 的随机梯度下降，并且相应的值 / 损失函数收敛。我们的结果为考虑神经 ODE 作为 ResNet 的深度极限提供了理论基础。我们的证明基于相关 Fokker-Planck 方程的衰减估计。

    Jun, 2019

  • 深度缩放 ResNets 在均场极限下的泛化性

    在无穷深和宽神经网络的极限状态下，我们对被称为 scaled ResNet 的模型进行研究，以推导出其在 mean-field regime 下的泛化能力的界限，并提供了关于 Gram 矩阵最小特征值的全局下界、Kullback-Leibler 散度的线性收敛性以及 Rademacher 复杂度的统一收敛性，从而揭示了 lazy training regime 以外的深度神经网络通用化能力的新见解。

    Mar, 2024