Jan, 2019

通过位移凸性分析两层神经网络

PDF
TL;DR使用线性组合的神经元对凸紧致区域上的凹函数进行拟合，将所得的经验风险最小化问题收敛到概率分布空间中的 Wasserstein 渐进流（Wasserstein gradient flow），且在 bump 宽度趋近于 0 时，具有特殊的位移凸性（displacement convexity），由于此渐进理论能够描述中等值的行为，因此在对风险最小化和对宽度数量的理解方面仍存在着挑战。
发现论文，激发创造
  • 利用凸神经网络打破维度诅咒

    研究神经网络单隐层的一般化性能，使用非欧几里得正则化工具，证明了它们适应未知的线性结构，而使用稀疏感应规范则可以实现高维非线性变量选择，提供了简单的几何解释，并提供了一些凸松弛的简单条件来实现相同的一般化误差界限，留下存在或不存在多项式时间算法的问题。

    Dec, 2014

  • 在神经网络中围绕宽平坦最小值塑造学习模式

    本文研究了具有随机权重的一层和两层神经网络在非凸损失函数情况下的学习行为，引入了宽平原（WFM）这一概念，并探索了 WFM 如何出现以及在学习中起到什么作用。

    May, 2019

  • 两层神经网络格势的均场视角

    本论文在研究多层神经网络的优化问题，发现随机梯度下降算法会收敛到一个全局最优点，且这一点具有很好的泛化能力。结果表明，适当的尺度下，随机梯度下降动态可以通过某个非线性偏微分方程捕捉，从而证明了 SGD 的收敛性。

    Apr, 2018

  • 使用最优传输理论分析过参数化模型上梯度下降的全局收敛性

    利用粒子混合模型及连续时间梯度下降对机器学习与信号处理中的测量值进行凸函数最小化，特别是在使用单个隐藏层的神经网络进行训练时，可通过 Wasserstein 梯度流达到全局最小值。

    May, 2018

  • 深度线性神经网络梯度下降的收敛分析

    本文研究在白化数据上，通过梯度下降来训练深度线性神经网络收敛到全局最优点的速度。当隐藏层数的维度不小于输入输出维度的最小值，并且初始化的权重矩阵大致平衡且初始损失小于任何秩缺失解时，可保证线性收敛。此外，在输出维度为 1 的情况下，即标量回归，这些条件是满足的，并且在随机初始化方案下具有恒定的概率达到全局最优解。

    Oct, 2018

  • 神经梯度下降上升的均场分析：应用于功能条件矩方程

    通过研究定义在无限维函数类上的极小极大优化问题，我们限定函数在过度参数化的两层神经网络类上，并研究（i）梯度下降 - 上升算法的收敛性和（ii）神经网络的表示学习。

    Apr, 2024

  • 神经网络的凸优化景观：通过 Lasso 模型表征全局最优和稳定点

    通过使用凸优化理论和稀疏恢复模型来改进神经网络的训练过程，并对其最优权重提供更好的解释，我们的研究侧重于以分段线性激活函数构建的两层神经网络的训练，证明了这些网络可以表达为一个有限维的凸规划问题，其中包括促使稀疏性的正则化项，构成 Lasso 的变种。通过大量的数值实验，我们展示了凸模型可以胜过传统非凸方法，并且对于优化器的超参数并不敏感。

    Dec, 2023

  • 深度学习的超参数化收敛理论

    通过对大规模深层神经网络的优化方法的研究，我们证明了 SGD 可以在多项式时间内发现 DNNs 训练目标上的全局极小值。

    Nov, 2018

  • 具有理论保证的机器学习非凸优化：鲁棒矩阵补全和神经网络学习

    本文讲述了解释性学习系统是机器学习的一个新趋势，但由于现实数据是由非线性模型生成的，在研究非凸优化问题时，提供可解释性算法是具有挑战性的，本文研究了两个非凸问题：低秩矩阵补全和神经网络学习。

    Jun, 2023

  • 代理凸性：梯度下降训练的神经网络分析的统一框架

    本文提出了一个统一的非凸优化框架，用于分析神经网络训练，引入了代理凸性和代理 Polyak-Lojasiewicz (PL) 不等式的概念，结合梯度下降，对神经网络训练的目标函数提供了高效的保证。通过代理凸性和代理 PL 不等式，本文进一步揭示了许多现有的神经网络训练保证的统一性。

    Jun, 2021