AAAIDec, 2020

利用两两类相似性的自适应可验证训练

PDF
TL;DR利用聚类方法寻找类似度高的类别，并基于其特征对分类器设置鲁棒性，以此提升鲁棒性训练的性能，同时在 Fashion-MNIST 和 CIFAR10 中分别提高准确率 9.63% 和 30.89%。
发现论文，激发创造
  • MixTrain: 可验证鲁棒神经网络的可扩展训练

    通过提出一种名为 MixTrain 的新技术，本文旨在大大提高以往可检验证训练的效率，并维持高标准的可靠性，实现了在少量训练时间内，其鲁棒性达到 95.2％，相较于现有的可检验证训练方法快 3 倍，而相对于对抗性训练快 15 倍，并且具有较好的扩展性。

    Nov, 2018

  • 稳健性与公平性可能相互矛盾：基于类别准确性的实证研究

    本文通过经验研究，在对抗训练的模型中发现了分类的精度和稳健性存在类间差异，包括在通常的训练模型中也存在差异。同时，本文还探讨了解决这种类间差异的可能技术和方法。

    Oct, 2020

  • 使用学习的验证器训练已验证的学习者

    本文提出了一种新的算法框架，predictor-verifier training，用于训练可验证的神经网络，同时训练两个网络：一个预测网络和一个验证网络以达到最大化输出准确性并满足输入输出特定属性的目标。实验表明，predictor-verifier 架构能够训练出鲁棒性强的神经网络并且训练时间显著减短，在像 MNIST 和 SVHN 这样的小数据集上优于以前的算法，同时能够扩展到 CIFAR-10 并产生首个已知的可验证鲁棒网络。

    May, 2018

  • 对抗训练和可证明的鲁棒性：两个目标的故事

    提出了一个基于对抗训练和可证明的强健性验证相结合的原则性框架，用于训练可证明强健的神经网络，并开发了一个新的梯度下降技术，可以消除随机多梯度中的偏差。 通过理论分析该技术的收敛性和与现有技术的实验比较，对 MNIST 和 CIFAR-10 的结果表明，所提出的方法可以始终匹配或优于过去的方法，特别是在 MNIST 的 epsilon = 0.3 时，达到了 6.60％的验证测试错误率，在 CIFAR-10 上达到了 66.57％（epsilon = 8/255）。

    Aug, 2020

  • 标签相似性课程学习

    本文研究课程学习方法，通过改变标签表示来调整损失函数，提高深度学习模型的训练效果，在多个数据集上进行了实验验证。

    Nov, 2019

  • 提高多标签图像分类的成对排名

    本研究提出两种技术来改进基于成对排名的多标签图像分类：（1）我们提出了一种新的损失函数，平滑且容易优化；（2）我们将标签决策模块纳入模型，估算每个视觉概念的最优置信阈值。我们在三个大规模数据集（VOC2007、NUS-WIDE 和 MS-COCO）上展示了我们方法的有效性，并取得了文献中报道的最佳结果。

    Apr, 2017

  • 朝着高准确度的概率鲁棒性认证

    通过提出一种新的方法，同时追求高准确性和具有认证的概率鲁棒性，我们的实验显示该方法在多个模型和数据集上的认证率和准确性方面明显优于现有方法。

    Sep, 2023

  • 自适应认证培训：追求更好的准确性与鲁棒性之间的权衡

    在此研究中，我们提出了一种基于自适应认证半径训练的新方法，旨在在保持高标准准确性的同时，提高模型的鲁棒性和准确性，从而推进现有准确性与鲁棒性的权衡。我们在 MNIST、CIFAR-10 和 TinyImageNet 数据集上验证了该方法的有效性，尤其在 CIFAR-10 和 TinyImageNet 上，与基准方法相比，我们的方法在相同标准准确性水平下能够提供高达两倍的鲁棒性。

    Jul, 2023

  • 基于 t-vFM 相似度的鲁棒特征学习方法用于连续学习

    本文提出使用不同的相似性度量方法来替代余弦相似性，以学习更加健壮的表示形式，从而提高连续学习中的图像分类任务的效果。

    Jun, 2023

  • RoLNiP: 使用有噪声的配对比较进行鲁棒学习

    提出了一种学习噪声配对比较的强健方法，该方法根据损失函数提出了充分条件，使得风险最小化框架在类似数据中噪声强度变大情况下保持强健性，并通过提供估算噪声率的方法来解决条件噪声的情况，并最终实现学习强健分类器的端到端方法。

    Mar, 2023