Oct, 2023

基于神经网络的回归的高效核替代模型

PDF
TL;DR通过研究神经切线核在代替有限宽度深度神经网络中的性能表现，揭示了核的正则性是性能的关键决定因素，从而提出了一种廉价改进深度神经网络准确性的方法。这一理论框架不仅为使用共轭核代替神经切线核提供了理论基础，而且揭示了不同近似方法的稳健性，为提高深度神经网络的准确性提供了建议。
deep neural networksneural tangent kernelconjugate kernelregression problemdnn accuracy
发现论文，激发创造
  • 利用无限宽深度神经网络在小数据任务中的能力

    该研究表明：(a) 在无穷宽度神经网络 (NNs) 上应用 l2 损失 (通过梯度下降法) 训练，并将学习率设置为无穷小，与 (b) 基于所谓的神经切向核 (NTK) 的核回归是相等的。在此基础上，对 NTK 进行高效计算的算法已被提出，表明 NTK 在低数据任务上表现良好。

    Oct, 2019

  • 神经切向核方法的神经网络修正

    使用神经切比洛夫核方法，获得了网络训练误差上限、网络大小不变的泛化误差上限，以及一个简单且解析的核函数，能够优于相关网络，但需要注意网络缩放因子的问题。本文对原有方法进行修正，提出了更加严格的误差上限，解决了缩放问题。

    Jul, 2020

  • 神经正切核：神经网络的收敛性和泛化性

    本研究证明了在梯度下降算法中，人工神经网络的演化可以被表示为一种核函数，称为神经切向核。它在无限宽度下收敛于一个明确的极限核，并且在训练过程中保持不变，可以用函数空间而不是参数空间来研究人工神经网络的训练。我们关注最小二乘回归并表明，在无限宽度下，网络函数 $f_ heta$ 在训练期间遵循线性微分方程。最后，我们对神经切向核进行了数值研究，观察了其在宽网络中的行为，并将其与无限宽度的极限进行了比较。

    Jun, 2018

  • 通过草图和随机特征扩展神经切向核规模

    该研究提出了一种近似算法，旨在加速使用神经切向核的大规模学习任务，并结合随机特征，通过谱逼近保证精度。实验结果表明，其线性回归器可在 CIFAR-10 数据集上达到与全精度模型相当的准确度，同时提高了 150 倍的速度。

    Jun, 2021

  • 循环神经切向核

    本文介绍并研究了循环神经切线核（RNTK）的性能，证明其能够比其他内核提供更好的性能表现，尤其在处理不同长度输入的情况下表现良好。

    Jun, 2020

  • 图神经切向核：将图神经网络与图核融合

    本文介绍了一种新的图卷积核 (GNTKs) 可以更好地表达图的信息，并且在图分类数据集上表现出强大的性能。

    May, 2019

  • 修复 NTK：从神经网络线性化到精确的凸规划

    该研究旨在解释门控 ReLU 网络的凸规划问题并建立其与神经切向核（NTK）之间的联系，通过迭代重新加权来提高 NTK 引导的权重以获得最优的多核学习（MKL）核，该核等同于凸规划问题的解，并提供了对最优核的预测误差的分析结果，并通过群套索的一致性结果进行验证。

    Sep, 2023

  • 通过伪神经切向核代理模型实现深度神经网络的鲁棒性解释

    本研究通过比较特征空间对神经网络是否形成真正代表模型的代理模型，证明了线性特征空间对神经网络的有效性，并提出 pNTK 是所有内核中最合适的代理特征空间。

    May, 2023

  • 线性宽度神经网络的共轭核和神经切向核的频谱

    研究神经网络中的共轭内核和神经切向内核的特征值分布，证明在随机初始化权重、具有近似成对正交性的输入样本和网络宽度与样本大小成线性增长的渐近情况下，CK 和 NTK 的特征值分布会收敛到确定性极限，并描述了 CK 和 NTK 的极限情况，其中 CK 的极限情况是通过在隐藏层之间迭代 Marcenko-Pastur 映射描述的。

    May, 2020

  • 一种用于替代梯度学习的广义神经切向核

    研究了神经网络训练方法中激活函数导数不可用时的问题，提出了代理梯度学习（SGL）的理论基础，并利用神经切向核（NTK）的推广 —— 代理梯度 NTK 分析了 SGL，通过数值实验验证了 SGL 在具有有限宽度和符号激活函数的网络中的有效性。

    May, 2024