Feb, 2024

比较两层神经网络的频谱偏差和鲁棒性：SGD 与自适应随机傅里叶特征

PDF
TL;DR我们通过实验结果发现，训练算法选择引起了两层神经网络的两个关键差异。神经网络的谱偏倚是众所周知的，而谱偏倚对于训练算法的选择依赖则研究较少。我们的实验表明，自适应随机傅里叶特征算法（ARFF）相比于随机梯度下降优化器（SGD）可以产生更接近于零的谱偏倚。此外，我们用 SGD 和 ARFF 训练两个结构相同的分类器，将它们的准确度提升到相同水平，并通过实验证明它们对抗敌对噪声攻击的鲁棒性。
发现论文，激发创造
  • 神经网络的频谱偏差

    通过傅里叶分析的工具，表明深度 ReLU 网络偏向于低频函数，且随数据流形复杂性的增加，学习高频函数变得更容易，但参数扰动会影响频率成分的鲁棒性和精确表达。

    Jun, 2018

  • 光谱视角理解和提高对抗鲁棒性

    本研究从频谱的角度探讨对抗性训练机制（AT），展示在低频区保留偏向形状的表示能够提高深度神经网络（DNNs）的鲁棒性，并提出了一种名称为 “频谱对齐正则化”（SAR）的训练方法，在多个数据集和攻击下显著提高 DNNs 的鲁棒准确性。

    Jun, 2023

  • 理解随机梯度下降和自适应梯度方法之间的鲁棒性差异

    使用随机梯度下降和自适应梯度方法来训练深度神经网络，通过实验证明，尽管使用这些方法训练的模型的标准泛化性能之间的差异很小，但使用随机梯度下降来训练的模型在输入扰动下表现出更高的鲁棒性。同时研究了梯度下降和符号梯度下降在模拟自然信号的合成数据集上的学习动态，并发现使用梯度下降优化的模型对 l2 - 范数有界变化的鲁棒性与模型参数的权重范数成反比，解释了与自适应梯度方法训练的模型相比，使用随机梯度下降训练的神经网络对输入扰动有更好的鲁棒性。

    Aug, 2023

  • 深度学习谱偏差研究

    论文通过与神经切向核函数的关联性进行解释，给出了关于神经网络中谱偏置的全面而严格的解释，并证明了神经网络的训练过程可以沿神经切向核的不同方向分解，每个方向都有自己的收敛率，而该收敛率由相应的特征值确定。

    Dec, 2019

  • 通过简单偏好的视角早期识别训练中的伪偏差

    研究表明，梯度下降训练的神经网络具有归纳偏差，倾向于学习简单的解决方案，导致学习到与标签高度相关的简单虚假特征而非复杂的核心特征，此文介绍一种名为 SPARE 的方法，能够早期发现含有虚假相关性的大型分组，并利用重要性抽样来平衡组大小，从而减轻虚假关联的影响，相对于现有方法，SPARE 方法的最差组准确度提高了最高达 5.6%，速度提高了多达 12 倍。

    May, 2023

  • 重新思考 DNN 的泛化、记忆和谱偏差之间的关系

    研究表明，深度神经网络的学习偏差会在训练的后期阶段出现第二次下降，其高频分量也会因此减少，导致测试误差的第二次下降，而网络的频谱可以用于指示测试误差的第二次下降。

    Apr, 2020

  • 构建零谱偏差的极限学习机

    Spectral Bias 现象是在前馈人工神经网络（ANN）中观察到的，其中学习的函数的高频成分比低频成分收敛得更慢，这一现象在 ANN 中普遍存在。本研究验证了 ELMs 结构的可靠性，发现高斯过程谱偏差（SB）的理论假设是错误的，并实施并验证了傅里叶特征嵌入的 ELMs 变种，完全消除了 SB 现象，从而使 ELMs 在像 PINNs 等需要高频分辨率的实际问题中可行。

    Jul, 2023

  • 对抗鲁棒特征的频谱视角

    研究建议通过解决开发对抗性强特征的简单问题来解决学习对抗性强模型的困难问题，并将对抗性强特征与数据集和度量的自然谱特性建立强连接，最终提供经验证据支持的通过光谱方法生成的对抗性强特征，从而学习到一个强健（又准确）的模型。

    Nov, 2018

  • 优化的人工神经网络和大脑中不同的光谱表征

    本论文研究了如何通过修改人工神经网络 (ANN) 的谱特性来提高其识别准确率和对抗攻击的鲁棒性，发现对于密集型网络来说，较大的幂次方（大约为 2-3）可提高验证准确度和对抗性鲁棒性。

    Aug, 2022

  • 对抗鲁棒性表示学习的光谱正则化

    我们提出了一种新的谱正则化方法，该方法鼓励下游分类任务中特征表示的黑盒敌对鲁棒性，实证结果表明，该方法在提高测试准确性和鲁棒性方面比以前提出的方法更加有效，并且改善了利用自监督训练或从其他分类任务中传递学习到的表示学习分类器的敌对鲁棒性。总体而言，我们的工作开始揭示表示结构如何影响敌对鲁棒性。

    May, 2024