Aug, 2022

优化的人工神经网络和大脑中不同的光谱表征

PDF
TL;DR本论文研究了如何通过修改人工神经网络 (ANN) 的谱特性来提高其识别准确率和对抗攻击的鲁棒性，发现对于密集型网络来说，较大的幂次方（大约为 2-3）可提高验证准确度和对抗性鲁棒性。
发现论文，激发创造
  • 探索神经稳健性机制：探究几何与频谱之间的桥梁

    通过权重、Jacobian 和谱规范化评估性能和对抗性鲁棒性，研究了表示平滑性和谱之间的关联，为未来探究动物和人工系统中的幂律谱和最优平滑编码机制奠定基础，从而更好地理解实现哺乳动物大脑中鲁棒神经网络和开发更加稳定可靠的人工系统的机制。

    Feb, 2024

  • 对抗鲁棒性表示学习的光谱正则化

    我们提出了一种新的谱正则化方法，该方法鼓励下游分类任务中特征表示的黑盒敌对鲁棒性，实证结果表明，该方法在提高测试准确性和鲁棒性方面比以前提出的方法更加有效，并且改善了利用自监督训练或从其他分类任务中传递学习到的表示学习分类器的敌对鲁棒性。总体而言，我们的工作开始揭示表示结构如何影响敌对鲁棒性。

    May, 2024

  • 光谱神经网络：近似理论与优化景观

    机器学习中的光谱几何信息提取是一种基于传统特征值解算器的大量方法之一，而为了应用于在线大数据场景，研究人员提出了 Spectral Neural Network (SNN) 作为一种替代方法，本文探索了 SNN 的关键理论方面，包括神经元数量和光谱几何信息学习量之间的权衡以及 SNN 的优化过程。

    Oct, 2023

  • 光谱视角理解和提高对抗鲁棒性

    本研究从频谱的角度探讨对抗性训练机制（AT），展示在低频区保留偏向形状的表示能够提高深度神经网络（DNNs）的鲁棒性，并提出了一种名称为 “频谱对齐正则化”（SAR）的训练方法，在多个数据集和攻击下显著提高 DNNs 的鲁棒准确性。

    Jun, 2023

  • 通过谱归一化来实现可推广性对抗性训练

    本研究旨在通过使用谱规范化方法，为深度神经网络在对抗性环境下的训练提供一种有效的正则化策略，以解决其在输入微小的对抗性扰动下缺乏鲁棒性的问题。同时，我们将边界损失延伸到对抗性环境，并限制了多个梯度攻击方案下深度神经网络的泛化误差。

    Nov, 2018

  • 神经网络的频谱偏差

    通过傅里叶分析的工具，表明深度 ReLU 网络偏向于低频函数，且随数据流形复杂性的增加，学习高频函数变得更容易，但参数扰动会影响频率成分的鲁棒性和精确表达。

    Jun, 2018

  • 用谱范数正则化来提高深度学习的普适性

    本研究通过对输入扰动的敏感性来研究基于深度学习的泛化能力，提出了一种简单而有效的正则化方法 —— 谱范数正则化，试验结果证实其比其他基准方法更具有泛化性能。

    May, 2017

  • 深度神经网络的光谱复杂度

    在本文中，我们提出使用极坐标谱来表征网络架构的复杂性，并根据序列的渐近分布对网络进行分类为低阶、稀疏或高阶。我们展示了这种分类方法在标准激活函数和 ReLU 网络的稀疏性质方面的不同特征，并通过数值模拟验证了我们的理论结果。

    May, 2024

  • 深度表示学习中的幂律研究

    本文研究使用自我监督学习方法，在没有标签数据的情况下学习视觉表示，通过计算特征协方差矩阵的本征谱估计幂律系数，发现幂律系数与表示学习的性能和鲁棒性密切相关。

    Feb, 2022

  • 神经预测与对齐的谱理论

    使用最新的理论框架，测试了大量预测视觉皮层活动的深度神经网络，并展示了多种几何特性导致通过回归测量的低神经预测误差，从而证明了仔细分解表征度量可以解释模型如何捕捉神经活动，并指导神经活动的改进模型。

    Sep, 2023