May, 2024

对抗鲁棒性表示学习的光谱正则化

PDF
TL;DR我们提出了一种新的谱正则化方法，该方法鼓励下游分类任务中特征表示的黑盒敌对鲁棒性，实证结果表明，该方法在提高测试准确性和鲁棒性方面比以前提出的方法更加有效，并且改善了利用自监督训练或从其他分类任务中传递学习到的表示学习分类器的敌对鲁棒性。总体而言，我们的工作开始揭示表示结构如何影响敌对鲁棒性。
neural network classifiersadversarial attacksregularizationrepresentation learningadversarial robustness
发现论文，激发创造
  • 通过谱归一化来实现可推广性对抗性训练

    本研究旨在通过使用谱规范化方法，为深度神经网络在对抗性环境下的训练提供一种有效的正则化策略，以解决其在输入微小的对抗性扰动下缺乏鲁棒性的问题。同时，我们将边界损失延伸到对抗性环境，并限制了多个梯度攻击方案下深度神经网络的泛化误差。

    Nov, 2018

  • 光谱视角理解和提高对抗鲁棒性

    本研究从频谱的角度探讨对抗性训练机制（AT），展示在低频区保留偏向形状的表示能够提高深度神经网络（DNNs）的鲁棒性，并提出了一种名称为 “频谱对齐正则化”（SAR）的训练方法，在多个数据集和攻击下显著提高 DNNs 的鲁棒准确性。

    Jun, 2023

  • 用谱范数正则化来提高深度学习的普适性

    本研究通过对输入扰动的敏感性来研究基于深度学习的泛化能力，提出了一种简单而有效的正则化方法 —— 谱范数正则化，试验结果证实其比其他基准方法更具有泛化性能。

    May, 2017

  • 通过结构化梯度正则化进行对抗性鲁棒性训练

    本文提出了一种新的数据依赖性结构化梯度正则化器，旨在增加神经网络对抗扰动的鲁棒性，该正则化器可以从第一原理中导出。实验证据表明，结构化梯度正则化是对抗低水平信号污染攻击的有效一线防御。

    May, 2018

  • 优化的人工神经网络和大脑中不同的光谱表征

    本论文研究了如何通过修改人工神经网络 (ANN) 的谱特性来提高其识别准确率和对抗攻击的鲁棒性，发现对于密集型网络来说，较大的幂次方（大约为 2-3）可提高验证准确度和对抗性鲁棒性。

    Aug, 2022

  • 对抗稳健性作为学习表示的先验

    本研究表明，鲁棒优化可以被重新定义为对深度神经网络学习特征的先验约束，经过鲁棒模型学习的特征表示方法能够解决标准神经网络表示方法的缺陷，并显著提高了高水平的输入编码能力。同时，这些特征表示方法具有相对可逆性，允许直接可视化和操纵输入的显著特征，提示使用对抗性鲁棒性来改善学习表示方法的可行性。

    Jun, 2019

  • 网络嵌入的对抗训练方法

    本文主要介绍了如何使用经过改进的对抗训练方法来解决网络嵌入过程中的过拟合问题，最终取得了较好的模型健壮性和泛化性能，并从节点分类和链接预测两个方面评估了模型的有效性。

    Aug, 2019

  • 超级表示：基于神经网络权重的自监督表示学习用于模型特征预测

    本文提出了在神经网络中使用自监督学习方法来学习超级表示法，引入了特定领域的数据增强和适应的注意力架构，并通过实验证明该方法能够较好地预测超参数、测试精度和泛化差距，并能用于超越分布场景。

    Oct, 2021

  • 利普希茨正则化深度神经网络的泛化性能和防御对抗攻击能力

    本文研究了深度神经网络的输入梯度正则化，并证明了这种正则化可以导致泛化证明和改进的对抗性稳健性。通过将对抗训练与 Lipschitz 正则化相结合，可以使模型更加稳健，并且可以使用图像的梯度范数进行攻击检测。

    Aug, 2018

  • 文本的鲁棒性表示学习

    通过基于正则化的方法，限制深度神经网络对其输入的敏感性，从而学习出更加鲁棒的模型，实验表明这种方法在情感分析方面具有优秀的性能，尤其在处理有噪声和跨领域数据时，胜过基线模型和 dropout 方法。

    Sep, 2016