May, 2019

通过三元损失的对抗训练提高深度神经网络的鲁棒性

PDF
TL;DR本文提出了一种名为 Adversarial Training with Triplet Loss 的算法，通过利用距离度量学习技术中的 Triplet Loss 方法，提高了深度神经网络的鲁棒性，并在此基础上提出了一个集合版本的算法，可以取得更好的防御效果。同时，作者还证明了此三元组损失可以用于提高其他防御方法的性能。
deep neural networkadversarial examplesdistance metric learningtriplet lossensemble
发现论文，激发创造
  • 基于边际三元组嵌入的对抗学习正则化

    本研究提出了一种方法来提高深度神经网络的鲁棒性，即将基于局部平滑特征空间的三元组嵌入正则化术语整合到分类目标中，该正则化术语由两步优化组成，可以通过明显的大 Margin 惩罚来找到潜在的扰动。在实验中，我们的方法在 MNIST，CASIA-WebFace，VGGFace2 和 MS-Celeb-1M 数据集上的表现证明了其增强了网络对特征和标签对抗攻击的鲁棒性。

    Sep, 2019

  • A3T：对抗性增强的对抗性训练

    本文介绍了一种通过强制表示不变性来提高深度神经网络对抗攻击鲁棒性的方法，并比较其与其他标准对抗训练方法的可行性。

    Jan, 2018

  • 通过多样化训练提高集合模型的对抗鲁棒性

    本研究通过多个神经网络的损失函数不相关来提高其对抗攻击的鲁棒性，提出了一种叫做多样化训练的方法，并发现该方法能够显著增强集合的对抗防御能力。

    Jan, 2019

  • 抗击单词级对抗性攻击的文本嵌入

    本研究提出了一种新的鲁棒训练方法，即 Fast Triplet Metric Learning (FTML)，通过采用三元组度量学习来让相似的样本在嵌入空间中的表示更接近，并与其敌对样本有类似的表示，从而提高自然语言处理模型在对抗攻击下的鲁棒性。实验证明，该方法不仅有效地提高了模型的鲁棒性，而且效率高，可在标准训练中引入很少的开销，具有很大的潜力来提高文本的鲁棒性。

    Feb, 2022

  • 理论上完整的三元组损失上界，以提高深度距离度量学习的效率

    本文提出了一种新的线性损失函数来优化深度距离度量学习中的三元组损失函数，无需使用类别中心点最优化步骤，并有了实际运行时间复杂度为线性的算法。该方法在基准数据集上达到了竞争性的检索准确性结果。

    Apr, 2019

  • 对抗分布式训练用于强健深度学习

    本文提出了一种新的模型训练框架 - 对抗分布式训练（ADT），通过最小值最大化优化问题，训练模型来学习处理各种威胁。ADT 的有效性也在几个基准测试中得到了验证。

    Feb, 2020

  • 面向数据中心强健学习的抵抗基于迁移的对抗性攻击的深度学习模型

    该研究提出了一种名为数据中心稳健学习（DRL）的新的防御范例，通过在训练之前进行一次性的对抗性增强来提高对迁移攻击的稳健性，并且在黑盒稳健性上超过了多种常用的对抗训练技术。此外，DRL 还具有模型的泛化能力和稳健公平性。

    Oct, 2023

  • 对抗鲁棒性和可解释性的二阶优化

    提出了一种使用二次近似的拟合函数的新型规则化器，并通过迭代计算逼近最坏情况二次损失，从而在具有良好的鲁棒性的同时避免了梯度混淆和降低了训练时间。实验证明，该模型产生的人类可解释性特征优于其他几何正则化技术，并且这些鲁棒特征可用于提供人性化的模型预测解释。

    Sep, 2020

  • SoftTriple Loss: 无需三元组采样的深度度量学习

    通过使用 SoftTriple loss 函数中每一个类别拥有多个中心的方式，可优化浅层距离计量学习算法，而无需采样。

    Sep, 2019

  • 深度防御：用改进的对抗训练训练 DNNs 提高其鲁棒性

    本文提出了一种名为 “deep defense” 的训练方法来解决深度神经网络易受到对抗样本攻击的问题，通过将对抗扰动的正则化器与分类目标相结合，得到的模型能够直接且准确地学习抵御潜在的攻击，实验证明该方法在不同数据集上对比对抗 / Parseval 正则化方法有更好的效果。

    Feb, 2018