Mar, 2024

基于核视角的两层神经网络的均场分析

PDF
TL;DR在这篇论文中，我们通过核方法的视角研究了两层神经网络在均场极限下的特征学习能力。我们利用两个时间尺度的极限来聚焦于第一层产生的核动态，从而将学习问题转化为对内在核的最小化问题。我们还展示了均场 Langevin 动力学的全局收敛性，并推导了时间和粒子离散化误差。此外，我们证明了两层神经网络可以比任何核方法更高效地学习多个再现核希尔伯特空间的并集，并且神经网络可以获得与目标函数对齐的数据相关核。我们还开发了一种标签噪声过程，该过程收敛到全局最优解，并展示了自由度作为一种隐式正则化现象。
feature learning abilitytwo-layer neural networkskernel methodsmean-field langevin dynamicslabel noise procedure
发现论文，激发创造
  • 两层神经网络的平均场理论：无维界限和核极限

    本文探讨利用随机梯度下降学习两层神经网络，将神经网络权重的演化近似为概率分布在 R^D 空间中的演化，从而得到概率分布的梯度流方程。我们分析了隐藏单元数量与数据规律性之间的相关性，扩展了此结果到无界激活函数的情况，将此结果应用到噪声随机梯度下降过程中，并展示了如何通过平均场分析特殊限制条件下的核岭回归。

    Feb, 2019

  • 三层神经网络在均场极限下的全局收敛

    本文在均场条件下证明了三层无正则化前馈神经网络的全局收敛性，首先建立起三层网络的均场极限，并证明了在合适的收敛模式假设和正则性假设下具有全局收敛保证。

    May, 2021

  • 高维高斯混合物的分类：核方法失败、神经网络成功

    研究表明：在一些简单的分类任务中，只有少数隐藏神经元的两层神经网络可以超越核学习的性能，这是因为两层神经网络在高维极限下能够实现非常优秀的表现，并且节点超参数数目过多并不能提高其表现。

    Feb, 2021

  • 深度神经网络中特征和懒惰训练的解耦

    该论文针对深度学习的 Neural Tangent Kernel 极限和 Mean-Field 极限进行了研究，发现不同的调参可以使得网络在 lazy training 和 feature training 两种状态下表现不同，并提出了一种中间状态下集合平均方法可以提高性能。

    Jun, 2019

  • 多层神经网络均值场极限的严格框架

    本研究发展了多层神经网络的数学严格框架，探究其在平均场条件下的学习轨迹，并证明了一些神经网络的性质，包括全局收敛性和初始化的影响。其中的新概念包括概率嵌入和双向多样性。

    Jan, 2020

  • 某些深度神经网络的平均场极限

    本文提出了一种适用于深度神经网络的缩放极限的解决方案，其权重可由被描述为平均场模型的理想粒子近似表示，该问题的关键在于我们的 McKean-Vlasov 问题存在唯一解。

    Jun, 2019

  • 双层神经网络中二阶动态的全局收敛性

    通过 Lyapunov 法证明了在 momentum 策略下的 fully connected neural networks 的 heavy ball method 对应的二阶梯度下降算法在平均场极限下收敛于全局最优解。

    Jul, 2020

  • 利用双时间尺度区间展示神经网络的收敛

    研究浅层神经网络的训练动态，证明了在内层步长远小于外层步长的两个时间尺度范围内，梯度流收敛于非凸优化问题的全局最优解，这依然成立即使神经元数量不是渐近大，与神经切向核或平均场逼近等最近流行的方法有所区别，并通过实验证明，随机梯度下降符合我们的梯度流描述，并在两个时间尺度范围内收敛到全局最优解，但在此范围之外可能失败。

    Apr, 2023

  • 两层神经网络格势的均场视角

    本论文在研究多层神经网络的优化问题，发现随机梯度下降算法会收敛到一个全局最优点，且这一点具有很好的泛化能力。结果表明，适当的尺度下，随机梯度下降动态可以通过某个非线性偏微分方程捕捉，从而证明了 SGD 的收敛性。

    Apr, 2018

  • 神经网络早期学习动力学的出乎意料的简单性

    本文证明，对于一类良好行为的输入分布，一个双层全连接神经网络的早期学习动态可以通过在输入上训练简单的线性模型来模仿。关键在于通过约束初始时的神经切向核（NTK）和数据核的仿射变换之间的谱范数差异来赋值。我们还表明，这种令人惊讶的简单性可以在更多层和具有卷积结构的网络中持续存在，验证了这一点。

    Jun, 2020