Oct, 2021

神经网络作为核学习器：沉默对齐效应

PDF
TL;DR本文探讨了神经网络在富特征学习阶段是否能够通过数据相关的核来学习一个核机器问题，发现这可以通过一种我们称之为 ' 静默对齐（silent alignment）' 的现象来实现，该现象要求网络的切向核在小范围内而且损失函数减少之前已经在特征上对齐，然后在总体规模上才能增长，总体而言，我们的研究表明以这种方式训练的神经网络会先学习一个低秩贡献的核，然后再总体上演化，从而得到了一个与其相当的核回归解决方案。
发现论文，激发创造
  • 神经频谱对齐：实证研究

    本文通过对神经网络优化过程中的经验性探索，发现神经切向核（NTK）在实际应用中会随着优化而发生重要的和有意义的变化，尤其是它的前几个特征向量会朝向神经网络所学习的目标函数，并成为神经网络输出的基础函数

    Oct, 2019

  • 神经网络早期学习动力学的出乎意料的简单性

    本文证明，对于一类良好行为的输入分布，一个双层全连接神经网络的早期学习动态可以通过在输入上训练简单的线性模型来模仿。关键在于通过约束初始时的神经切向核（NTK）和数据核的仿射变换之间的谱范数差异来赋值。我们还表明，这种令人惊讶的简单性可以在更多层和具有卷积结构的网络中持续存在，验证了这一点。

    Jun, 2020

  • 神经切向核的归纳偏置

    本研究分析了神经网络中梯度下降法的学习动态，发现学习过程受一个称为神经切向核的初始化方式所掌控，比较了该核与其他类似结构的核函数的平滑性、逼近性和稳定性等属性，并考察了卷积网络在图像变形下的稳定性。

    May, 2019

  • 高维高斯混合物的分类：核方法失败、神经网络成功

    研究表明：在一些简单的分类任务中，只有少数隐藏神经元的两层神经网络可以超越核学习的性能，这是因为两层神经网络在高维极限下能够实现非常优秀的表现，并且节点超参数数目过多并不能提高其表现。

    Feb, 2021

  • 神经正切核：神经网络的收敛性和泛化性

    本研究证明了在梯度下降算法中，人工神经网络的演化可以被表示为一种核函数，称为神经切向核。它在无限宽度下收敛于一个明确的极限核，并且在训练过程中保持不变，可以用函数空间而不是参数空间来研究人工神经网络的训练。我们关注最小二乘回归并表明，在无限宽度下，网络函数 $f_ heta$ 在训练期间遵循线性微分方程。最后，我们对神经切向核进行了数值研究，观察了其在宽网络中的行为，并将其与无限宽度的极限进行了比较。

    Jun, 2018

  • 核回归和宽神经网络的波谱偏差和任务 - 模型一致性解释泛化

    探究基于核回归的可推广性误差，解释了以 “简单函数” 为特征的归纳偏差，并表明更多数据可能会损害推广能力，还研究了与无限宽深度神经网络相关的旋转不变内核的数学性质。

    Jun, 2020

  • 大型非线性模型的线性性：何时和为什么切线核是恒定的

    揭示了某些神经网络在宽度接近无穷大时，出现线性转换的显著现象，并通过 Hessian 矩阵的归一化来解释其原因。此外，还指出该现象并非宽神经网络的普遍特性。

    Oct, 2020

  • 大偏差下宽神经网络的收敛性和泛化性

    该研究通过神经切向核（NTK）模式下的梯度下降探讨了训练一层过度参数化的 ReLU 网络，其中网络的偏置被初始化为某个常量而不是零。该初始化的诱人好处是神经网络将可以在整个训练过程中保持稀疏激活，从而实现快速训练。结果表明，在稀疏化后，网络可以实现与密集网络一样快的收敛速度。其次，提供了宽度稀疏性的相关性，给出了一个稀疏性相关的 Rademacher 复杂度和泛化性能界限。最后，研究了极限 NTK 的最小特征值，发现可以使用可训练偏置来提高推广性。

    Jan, 2023

  • 深度学习与核学习：损失函数梯度与神经切向核的时间演变的实证研究

    在深度神经网络训练中，训练动力学与损失面的几何形态和时空变化紧密关联，揭示了深度学习过程中快速的混沌瞬变和稳定状态之间的显著关系。

    Oct, 2020

  • 训练不变量和低秩现象：超越线性网络

    本论文研究神经网络训练中的隐性偏差，探究梯度流和梯度下降的极限情况下，使用对数或指数损失函数对线性可分数据进行训练的深度线性网络的权重收敛于秩 1 矩阵的现象是否会发生于全连接层和跳跃连接层的 ReLU 激活前馈网络中，提出了一些训练不变性，并以特定参数方向收敛的 ReLU 网络的常数权重和多线性函数作为论据进行证明。

    Jan, 2022