ICLROct, 2023

通过非对称负对比和反向注意力实现鲁棒表征学习

PDF
TL;DR深度神经网络容易受到对抗性噪声的攻击。为了解决这个问题，我们提出了一种通用的对抗训练框架来获得稳健的特征表达，通过非对称负对比度和反向注意力来推动不同类别的特征在特征空间中远离，并通过线性分类器参数对特征进行加权以获得类别感知的特征并将相同类别的特征相互靠近。经过在三个基准数据集上的实证评估，我们的方法大大提高了对抗训练的鲁棒性并实现了最先进的性能。
发现论文，激发创造
  • 用隐式表示约束的对抗微调来缓解精确性 - 鲁棒性权衡

    通过引入 ARREST 方法，该论文提出了一种能够在深度神经网络中同时提高标准准确度和鲁棒性的对抗训练方法。

    Aug, 2023

  • 重新思考对抗训练中的不变性正则化以改善鲁棒性与准确性权衡

    通过非对比自监督学习的启发，我们提出了一种称为 AR-AT 的不对称表示正则化对抗训练方法，结合了梯度冲突解决和解决混合分布问题的方法，显著改善了鲁棒性 - 准确性的平衡，并讨论了这些发现与基于知识蒸馏的防御方法之间的相关性。

    Feb, 2024

  • 对比对抗训练中通过认知失调缓解实现健壮性

    本文介绍了一种新的神经网络训练框架，通过将对比学习与对抗训练相结合，增强了模型对对抗攻击的鲁棒性，同时保持高干净度的准确性。作者发现对比学习有助于提高对抗性鲁棒性，并使用 CIFAR-10 数据集验证了他们的方法，发现其优于其他监督和自监督方法。

    Mar, 2022

  • 注意力遇到扰动：通过对抗训练实现鲁棒性和可解释性的注意力机制

    本文提出对自然语言处理任务进行通用训练的技术，包括关注力对抗训练（Attention AT）和更易于解释的关注力对抗训练（Attention iAT）。该方法通过引入对抗扰动，增强了句子注意力的差异，提高了模型的预测性能和可解释性，并且尤其适用于关注力机制。实验表明，Attention iAT 在十项任务中表现最佳，并且其结果的注意力与基于梯度的单词重要性的相关性更强。此外，该方法不太依赖于对抗扰动的大小。

    Sep, 2020

  • F$^2$AT：通过自然和扰动模式解缠以进行特征聚焦对抗训练

    通过位平面切片将对抗性样本分解为自然和扰动模式，提出了一个特征关注的对抗性训练 (F^2AT)，使模型专注于来自自然模式的核心特征，减少扰动模式的虚假特征。实验结果表明 F^2AT 在准确性和对抗性鲁棒性方面优于现有的方法。

    Oct, 2023

  • 在对抗训练中提高最劣鲁棒性

    本文提出了一种最差类对抗训练（worst-class adversarial training）的新框架，利用无悔动态来解决对抗样本攻击的问题，旨在获得在最差情况下表现优异的分类器，并在同时仅牺牲少量平均鲁棒性。作者在各种数据集和网络上的实验证明了该方法超越了现有方法。

    Feb, 2023

  • 自监督对抗鲁棒性分离式对抗性对比学习

    本研究提出了 Decoupled Adversarial Contrastive Learning (DeACL) 框架，将 Adversarial Training 和 Self-supervised Learning 分为两个子问题分别处理，使学习无标签鲁棒表示更加简化和高效，并在实验中取得了业界领先的表现。

    Jul, 2022

  • 缓和以防御：通过自引导标签完善实现对抗鲁棒性

    鲁棒训练是为了提高深度神经网络对抗攻击的鲁棒性的最有效方法之一，但大多数鲁棒训练方法存在鲁棒过拟合的问题。本文从梯度范数角度首次找到了鲁棒过拟合与噪声标签过渡记忆之间的联系，并提出了一种自我导向的标签优化方法，它能提高标准准确度和鲁棒性，在多个数据集、攻击类型和架构上都得到了验证。此外，从信息理论的角度对我们的方法进行了分析，并指出了软标签对于鲁棒泛化的重要性。

    Mar, 2024

  • 利用自注意力 U-Net 增强技术刻画语音对抗样本

    本文提出了一种基于 U-Net 的注意力模型 ——U-Net$_{At}$，用于增强深度神经网络（DNN）语音识别系统中的对抗性信号，并通过可解释的语音识别度量评估模型性能，并探讨在对抗训练下的模型性能，在对抗性语音示例的语音增强任务中，我们的实验表明，提出的 U-Net$_{At}$ 可将语音质量感知评估（PESQ）从 1.13 提高到 2.78，语音传输指数（STI）从 0.65 提高到 0.75，短期客观清晰度（STOI）从 0.83 提高到 0.96，我们还在带有对抗性音频攻击的自动语音识别（ASR）任务上进行了实验，发现（i）注意力网络学习的时间特征能够提高 DNN 基于 ASR 模型的鲁棒性；（ii）通过应用带有加性对抗性数据增强的对抗性训练，可以增强 DNN 基于 ASR 模型的泛化能力，单词错误率（WERs）上的 ASR 指标显示，在基于梯度的扰动下有绝对 2.22％的减少，在经过进化优化的扰动下有绝对 2.03％的减少，这表明我们的增强模型与对抗性训练可以进一步确保弹性 ASR 系统的安全性。

    Mar, 2020

  • 用特征可分性提高对抗训练

    本篇论文旨在探究防御对抗攻击的神经网络算法，在研究中发现传统的对抗训练没有学习到更好的特征表示方法，同时也存在过度拟合和泛化性能差的问题。为解决这些问题，引入了对抗训练图（ATG）的概念，提出基于 ATG 的对抗训练与特征可分性（ATFS）的新框架，该框架能够提高特征的内部类相似性并增加类间特征方差，从而明显提高了算法的性能。

    May, 2022