一种可扩展的 Walsh-Hadamard 正则化器，以克服神经网络的低阶谱偏倚

May, 2023

一种可扩展的 Walsh-Hadamard 正则化器，以克服神经网络的低阶谱偏倚

A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree Spectral Bias of Neural Networks

Ali Gorji, Andisheh Amrollahi, Andreas Krause

TL;DR研究神经网络中的频谱偏差问题，提出一种新的可扩展的函数正则化方案，以帮助神经网络学习更高阶的频率，并对四个不同的数据集进行了广泛的评估，显示相对于标准神经网络和其他基线方法显著提高了推广性。

Abstract

Despite the capacity of neural nets to learn arbitrary functions, models trained through gradient descent often exhibit a bias towards ``simpler'' functions. Various notions of simplicity have been introduced to characterize this behavior. Here, we focus on the case of neural networks

neural networks discrete inputs fourier transforms spectral bias functional regularization

发现论文，激发创造

神经网络的频谱偏差

通过傅里叶分析的工具，表明深度 ReLU 网络偏向于低频函数，且随数据流形复杂性的增加，学习高频函数变得更容易，但参数扰动会影响频率成分的鲁棒性和精确表达。

Jun, 2018

光谱正则化：序列建模的归纳偏置

本文介绍了一种基于 Chomsky 层次的直观简洁性概念，利用 Hankel 矩阵的跟踪范数作为频谱正则化器的高级模型，并提出了一种偏袒随机估计器以应对 Hankel 矩阵是双无限的事实，最终证明了频谱正则化在 Tomita 语法上的潜在优势以及提议的随机估计器的有效性。

Nov, 2022

深度神经网络中权重矩阵的重尾正则化

通过随机矩阵理论，提出了一种名为 “Heavy-Tailed Regularization” 的正则化技术，此技术优化了神经网络的权重矩阵，使其有更重的尾巴，并提升了网络的泛化能力。对比传统的正则化方法，实验结果证明这种新方法在泛化效果上更优秀。

Apr, 2023

用谱范数正则化来提高深度学习的普适性

本研究通过对输入扰动的敏感性来研究基于深度学习的泛化能力，提出了一种简单而有效的正则化方法 —— 谱范数正则化，试验结果证实其比其他基准方法更具有泛化性能。

May, 2017

深度学习谱偏差研究

论文通过与神经切向核函数的关联性进行解释，给出了关于神经网络中谱偏置的全面而严格的解释，并证明了神经网络的训练过程可以沿神经切向核的不同方向分解，每个方向都有自己的收敛率，而该收敛率由相应的特征值确定。

Dec, 2019

神经网络的谱间隔正则化

介绍一种基于 Fiedler regularization 和图谱结构信息的神经网络正则化方法，应用于节点嵌入学习，通过实验验证其有效性和可行性。

Apr, 2023

计算机视觉模型的傅里叶敏感性和正则化

本研究通过一种可靠的方法，研究了深度神经网络的频率敏感特性并提出了一种傅里叶正则化框架来改善模型的鲁棒性。

Jan, 2023

克服神经价值近似的光谱偏差

本文探讨了如何通过使用复合神经切向核的傅里叶特征网络来克服多层感知器和神经核回归中存在的高频率成分拟合所需的步骤数指数级增加的问题，以提高深度增强学习的效率和稳定性，并取得了令人瞩目的实验结果。

Jun, 2022

谱 Dropout 正则化深度神经网络

提出了一种称为 `Spectral Dropout' 的新方法，它可以通过固定基函数的正交变换的形式将其转化为正则卷积神经网络 (CNN) 的权重层，通过消除神经网络激活的弱且嘈杂的傅里叶系数来预防过拟合，相比当前正则化方法具有显著提高网络收敛速度以及神经元精简率的效果，并且可以与其他正则化方法共同使用。

Nov, 2017

特征学习的光谱条件

通过扩大神经网络的规模进行特征学习，我们展示了通过标度化权重矩阵和它们的更新的谱范数来实现特征学习，这是与根据 Frobenius 范数和条目大小进行启发式标度化方法相反的，同时我们的谱标度分析还导致了对最大更新参数化的基本推导，总之，我们旨在为读者提供神经网络特征学习的扎实概念理解。

Oct, 2023