Nov, 2023

两层非线性回归的近似牛顿方法的局部收敛性

PDF
TL;DR我们对两层回归问题进行了分析，使用了 softmax 激活单元作为第一层，并分析了近似牛顿法用于最小化正则化训练损失的收敛性质，证明了 Hessian 矩阵的损失函数是正定和 Lipschitz 连续的，在适当的初始化和迭代次数后，我们的算法可以高概率地找到训练损失的 ε- 近似最小化器。
large language modelstwo-layer regression problemsoftmax unitconvergence propertiestraining algorithm
发现论文，激发创造
  • 非线性单元的两层回归的收敛性

    大语言模型中的注意力计算结构，以及利用 Hessian 矩阵找到近似最优解的算法。

    Aug, 2023

  • ResNet 和 Softmax 的统一方案

    这篇论文通过理论分析提供了连接大语言模型、softmax 回归、残差神经网络以及优化问题的统一方案，揭示出了损失函数的梯度、Hessian 矩阵以及利普希茨特性，并通过该方案为未来深度学习模型的研究提供了新的洞察。

    Sep, 2023

  • 重缩超半球函数回归的迭代算法

    这篇论文介绍了大语言模型的应用领域以及指数函数注意力单元在其中的基础作用，以及对指数回归和 softmax 回归的研究，并且给出了一个解决输入稀疏问题的算法框架。

    May, 2023

  • 一层隐藏层神经网络的恢复保证

    本文考虑使用单隐藏层神经网络模型去解决回归问题，探讨了激活函数的属性，比如 ReLU、leaky ReLU、sigmoid 等都满足局部强凸性。文中还提出了使用张量方法对参数进行初始化，并配合梯度下降算法使用来解决回归问题。最终达到了使用线性的输入维数和对数精度计算复杂度的样本复杂性和计算复杂性要求。

    Jun, 2017

  • 两层 ReLU 网络的快速凸优化：等价模型类和锥分解

    本文研究了基于 ReLU 激活函数的两层神经网络的凸优化及其群 lasso 正则化和加速近端梯度算法，该方法在 MNIST 和 CIFAR-10 数据集的图像分类方面表现良好。

    Feb, 2022

  • 超参数神经网络的自然梯度下降快速收敛

    本文首次分析了自然梯度下降在非线性神经网络中的收敛速度，发现若序列导数矩阵显满秩且在初始化附近稳定，则该方法在随机初始化时就能快速收敛。对于深度 ReLU 神经网络，作者在过度参数化及输入非退化的条件下论证了这两个条件在训练期间均得以保持，并将分析拓展到其他损失函数，同时说明使用 K-FAC 近似方法也能在相同条件下达到全局最小值。

    May, 2019

  • 具有 ReLU 激活函数的双层神经网络的收敛性分析

    本文分析了使用随机梯度下降（SGD）训练包含 ReLU 激活函数的两层前馈神经网络中所谓的 “恒等映射” 结构和高斯分布输入的情况下 SGD 收敛的机理，并通过实验证明使用该结构的多层神经网络具有比普通神经网络更好的性能。

    May, 2017

  • 关于学习超参数化神经网络的函数逼近视角

    研究了使用梯度下降法在过度参数化的双层神经网络中训练，证明了在足够过度参数化的条件下，GD 方法可以近似地将振幅算子的幂应用于生成响应 / 标签的基础 / 目标函数 $f^*$，并且提供了使用低秩逼近来减少经验风险的线性速率的足够条件，介绍了适用于球面上的多项式的一般结果的应用

    May, 2019

  • ReLU 神经网络的凸松弛在多项式时间内近似全局最优

    本文研究了采用权重衰减正则化的两层 ReLU 网络与其凸松弛之间的最优性差距，揭示了在随机训练数据情况下原问题与其松弛之间相对最优性差距可以通过 O (√log n) 的因子进行界定，且应用简单的算法可在多项式时间内解决原非凸问题，此外，在合理假设下，随机初始化参数的局部梯度方法几乎必定收敛于训练损失较低点，此结果相对现有结果而言具有指数级改进，并对解释局部梯度方法为何行之有效提供了新的见解。

    Feb, 2024

  • 通过 LASSO 正则化证明双层 ReLU 神经网络的可识别性

    本文将 LASSO 正则化技术推广到两层 ReLU 神经网络中，通过扩展限制等距性原理分析框架，可实现稳定重构神经网络并识别输入的子集，从而提出了一种基于神经网络的变量选取方法。实验结果表明与现有技术相比，该方法具有良好表现。

    May, 2023