Jun, 2023

通过浅层 ReLU 网络学习神经元：相关输入的动力学和隐式偏置

PDF
TL;DR通过训练一个从一个小初始值开始的任意宽度的一层 ReLU 神经网络来证明，对于学习单个神经元的基本回归任务，该网络能收敛于零损失并隐含有利于最小化网络参数秩的偏见。
regressionneuronrelugradient flownetwork parameters
发现论文，激发创造
  • 浅层一元 ReLU 网络的梯度动力学

    本文介绍了在一个维度输入下，解决最小二乘插值的超参数化浅层 ReLU 网络的梯度动态的理论和实证研究，阐述了这种网络的梯度动态通过网络函数的非冗余参数化来确定，同时还研究了两种学习模式：核函数和自适应函数，以及它们所对应的性质。

    Jun, 2019

  • 对近似正交数据的两层 ReLU 和 Leaky ReLU 网络的梯度下降的隐式偏差

    針對兩層完全連接的 (leaky) ReLU 神經網絡，研究梯度下降的隱含偏差，並證明梯度下降在訓練中會找到收斂於 1 的具有穩定排名的神經網絡，對於 ReLU 激活函數則收斂於一個上界常數，同時所有訓練數據點的標準化邊界漸進地相同。實驗結果對我們的理論結果進行了驗證。

    Oct, 2023

  • 单神经元 ReLU 网络的支持向量和梯度动态

    通过研究单神经元 ReLU 网络的梯度流动力学，发现了支持向量的隐式偏差，这在解释 ReLU 网络为何具有良好的泛化能力中起着关键作用；此外，证明了对于二维情况下单个神经元的全局收敛性，并分析了在梯度流的条件下学习权重范数的严格增长。

    Feb, 2022

  • 浅层 ReLU 网络中最小稳定性的隐含偏差

    本文探讨使用随机梯度下降法训练具有 ReLU 网络的单隐藏层多元网络应用于二次损失下所得到解的性质，得到其 Laplacian 的类似结果。结果表明，当步长增大时，网络映射函数二阶导数有界性的界限变小，即使用更大的步长会导致更平稳的预测器，最后，本文证明了如果函数在 Sobolev 意义下足够平滑，则可以使用相应于梯度下降稳定解的 ReLU 浅层网络任意逼近。

    Jun, 2023

  • 训练不变量和低秩现象：超越线性网络

    本论文研究神经网络训练中的隐性偏差，探究梯度流和梯度下降的极限情况下，使用对数或指数损失函数对线性可分数据进行训练的深度线性网络的权重收敛于秩 1 矩阵的现象是否会发生于全连接层和跳跃连接层的 ReLU 激活前馈网络中，提出了一些训练不变性，并以特定参数方向收敛的 ReLU 网络的常数权重和多线性函数作为论据进行证明。

    Jan, 2022

  • 通过梯度下降学习具有一层 ReLU 的神经网络

    本文研究从标准高斯分布采样输入，从嘈杂的教师网络生成输出的一层隐藏神经网络的学习问题。研究分析了梯度下降在基于经验风险最小化的训练中的性能，并提供了算法相关的保证，证明了张量初始化后跟随梯度下降可以以线性速率收敛到地面真值参数，证明本文是第一个表征实际学习具有多个神经元的一层 ReLU 网络的恢复保证的工作。数值实验验证了我们的理论发现。

    Jun, 2018

  • 使用过参数化的浅层 ReLU 神经网络进行非参数回归

    对于从某些光滑函数类中学习函数的任务，如果权重限制或正则化得当，超参数化神经网络可以实现最小极值收敛率 (加上对数因子)。

    Jun, 2023

  • 通过感知机的最小范数插值：显式正则化和隐式偏差

    研究在使用 ReLU 网络时，通过对已知区域进行插值，证明了经验风险最小化器在数据点和参数数目趋向无穷大时收敛到最小范数插值者，当且仅当对应于网络宽度和数据点增长的特定速率消失时对权重衰减正则化项进行惩罚，在显式和隐式正则化情况下，数值方法研究了常见优化算法对已知最小范数插值者的隐含偏好。

    Nov, 2023

  • 两层 ReLU 网络中早期神经元对齐与小初始化

    利用小初始化进行梯度流训练的研究，研究了两层 ReLU 网络在二元分类问题中的训练。首层神经元在早期对齐阶段尝试与正或负数据对齐，其方向动态分析得出了神经元达到良好对齐所需的时间上界。在对齐阶段后，损失函数以 1/t 速率收敛到零，首层权重矩阵近似低秩。通过对 MNIST 数据集进行实验验证了理论发现。

    Jul, 2023

  • 学习窄的一层 ReLU 网络

    我们提出了一个基于随机高阶矩张量收缩的多尺度算法，用于发现个别神经元。在学习由 $k$ 个 ReLU 激活的线性组合方面，该算法是首个在多项式时间内成功的，而且无需额外假设网络的正系数或隐藏权重向量的矩阵具有良好的条件数。

    Apr, 2023