关于卷积神经切线和高斯过程核的谱偏差

Mar, 2022

关于卷积神经切线和高斯过程核的谱偏差

On the Spectral Bias of Convolutional Neural Tangent and Gaussian Process Kernels

Amnon Geifman, Meirav Galun, David Jacobs, Ronen Basri

TL;DR通过它们各自的高斯过程和神经切向核，研究各种过度参数化的 CNN 架构的属性，并证明了这些核的特征值随着层级特征的组合而多项式地衰减

Abstract

We study the properties of various over-parametrized convolutional neural architectures through their respective gaussian process and neural tangent kernels. We prove that, with normalized multi-channel input and ReLU activation, the eigenfunctions of these kernels with the uniform mea

over-parametrized convolutional neural architectures gaussian process neural tangent kernels hierarchical factorizable kernels eigenvalues

发现论文，激发创造

深度学习谱偏差研究

论文通过与神经切向核函数的关联性进行解释，给出了关于神经网络中谱偏置的全面而严格的解释，并证明了神经网络的训练过程可以沿神经切向核的不同方向分解，每个方向都有自己的收敛率，而该收敛率由相应的特征值确定。

Dec, 2019

线性宽度神经网络的共轭核和神经切向核的频谱

研究神经网络中的共轭内核和神经切向内核的特征值分布，证明在随机初始化权重、具有近似成对正交性的输入样本和网络宽度与样本大小成线性增长的渐近情况下，CK 和 NTK 的特征值分布会收敛到确定性极限，并描述了 CK 和 NTK 的极限情况，其中 CK 的极限情况是通过在隐藏层之间迭代 Marcenko-Pastur 映射描述的。

May, 2020

神经切向核的归纳偏置

本研究分析了神经网络中梯度下降法的学习动态，发现学习过程受一个称为神经切向核的初始化方式所掌控，比较了该核与其他类似结构的核函数的平滑性、逼近性和稳定性等属性，并考察了卷积网络在图像变形下的稳定性。

May, 2019

神经网络的细粒度光谱分析

本文从谱的角度研究共轭内核（Conjugate Kernel，CK）和神经切向内核（Neural Tangent Kernel，NTK）的特性，分析它们的特征值，得出关于神经网络的初始化分布和训练、泛化特性等问题的新见解，并通过广泛的神经网络实验验证这些见解。

Jul, 2019

从层状结构和神经切向核的角度看图卷积网络

本文研究了 sheaf 卷积网络的神经切向核，通过将函数分解为由图形决定的前向扩散过程和节点激活对输出层的复合效果所确定的两部分，提出了一种参数化方法以拟合核函数。

Aug, 2022

欠参数化神经网络中 MSE 梯度优化的隐含偏差

本篇论文研究神经网络在通过渐变流优化均方误差时在函数空间中的动态学习，证明了在参数不足的情况下，网络以特定的速率学习由神经切向核（NTK）决定的积分算子 T_K^∞的特征函数，从而展现了在参数不足的情况下的光谱偏置。

Jan, 2022

多项式神经网络的谱偏差

本文探讨了多项式神经网络在图像生成和人脸识别方面的有效性，还研究了神经网络具有低频函数方面的谱偏向性，发现多项式神经网络可以通过引入乘法交互项加速学习，提供了设计架构和学习框架的新洞察。

Feb, 2022

核回归和宽神经网络中的频谱相关的学习曲线

通过高斯过程和统计物理学的理论方法，我们得到了内核回归广义性能的分析表达式，这些表达式是关于训练样本数量的函数。我们的结果适用于具有广泛神经网络的情况，这是由于训练它们和使用神经切向核 (NTK) 的核回归之间的等效性。通过计算核的不同谱成分对总体泛化误差的分解，我们确定了一个新的谱原理：随着训练集大小的增长，核机和神经网络逐渐适应目标功能的更高频谱模式。当数据从高维超球面上的均匀分布中采样时，点积核，包括 NTK，显示出学习阶段，其中学习不同频率模式的目标函数。通过对合成数据和 MNIST 数据集的模拟，我们验证了我们的理论。

Feb, 2020

克服神经价值近似的光谱偏差

本文探讨了如何通过使用复合神经切向核的傅里叶特征网络来克服多层感知器和神经核回归中存在的高频率成分拟合所需的步骤数指数级增加的问题，以提高深度增强学习的效率和稳定性，并取得了令人瞩目的实验结果。

Jun, 2022

神经网络的频谱偏差

通过傅里叶分析的工具，表明深度 ReLU 网络偏向于低频函数，且随数据流形复杂性的增加，学习高频函数变得更容易，但参数扰动会影响频率成分的鲁棒性和精确表达。

Jun, 2018