ICLRFeb, 2020

通过启用输入自适应推理，同时提高准确性，鲁棒性和效率的三重胜利

PDF
TL;DR本文研究使用具有多个输出的输入自适应高效推理的多出口网络，名为 Robust Dynamic Inference Networks（简称 RDI-Nets）。该方法在平衡模型的准确度、鲁棒性和效率方面表现出强大的潜力，并相对于防御原始模型可以节省 30％的计算量。
deep networksaccuracyrobustnessmulti-exit networksdynamic inference
发现论文，激发创造
  • 训练自适应深度网络的改进技术

    本文研究了如何更有效地训练具有多个中间分类器的自适应深度网络，提出了梯度均衡算法，内联子网络协作方法和一对所有知识蒸馏算法等三种方法，以改进分类器协作并进一步提高自适应性深度网络的效率。在 CIFAR-10，CIFAR-100 和 ImageNet 等多个数据集上展示了该方法相对于现有技术的改进效果。

    Aug, 2019

  • 双动态推断：实现更高效、自适应和可控的深度推断

    提出一种双重动态推理框架，采用多粒度学习以及资源依赖的动态推理机制，优化计算资源和预测精度之间的权衡，有效降低计算资源消耗，通过实验验证其优越性。

    Jul, 2019

  • 自适应认证培训：追求更好的准确性与鲁棒性之间的权衡

    在此研究中，我们提出了一种基于自适应认证半径训练的新方法，旨在在保持高标准准确性的同时，提高模型的鲁棒性和准确性，从而推进现有准确性与鲁棒性的权衡。我们在 MNIST、CIFAR-10 和 TinyImageNet 数据集上验证了该方法的有效性，尤其在 CIFAR-10 和 TinyImageNet 上，与基准方法相比，我们的方法在相同标准准确性水平下能够提供高达两倍的鲁棒性。

    Jul, 2023

  • 高效推理的分辨率自适应网络

    本论文提出一种新颖的分辨率自适应网络（RANet），通过利用输入样本的空间冗余性，有效地降低了深度网络的计算成本，同时在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上展示了其性能优越性。

    Mar, 2020

  • 鲁棒性是准确性的代价吗？—— 对 18 个深度图像分类模型鲁棒性的全面研究

    本研究通过使用多个强健度和成功率等措施，在 306 个模型对之间全面测试了 18 个 ImageNet 模型，并揭示了若干新的见解：（1）在分类错误的对数下，经验 L2 和 L∞扭曲度量呈线性比例律；（2）模型架构比模型尺寸更重要；（3）对于相似的网络架构，略微增加网络深度可在 L∞扭曲度上提高强健性；（4）存在具有高度敌对可转性的模型，而从一个模型制造的大多数敌对示例仅可以在同一家族内转移。

    Aug, 2018

  • 准确性和鲁棒性是否相关？

    通过利用深度卷积神经网络生成对抗性样本，然后比较不同的生成技术在产生图像质量和测试机器学习模型鲁棒性方面的差异，最后在跨模型对抗迁移上进行了大规模实验，研究结果表明对抗性样本在相似的网络拓扑间是可传递的，并且更好的机器学习模型更不容易受到对抗性样本的攻击。

    Oct, 2016

  • 使用集成网络和噪声层实现鲁棒深度学习

    本篇论文提出了一种深度学习方法，可以在图像分类类型的网络中保护并提高其鲁棒性，同时实现了准确性和鲁棒性的平衡，通过实验验证了该方法的有效性和鲁棒性保障。

    Jul, 2020

  • 内外分布上的对抗鲁棒性改进可解释性

    本文提出基于 RATIO 的 Robustness via Adversarial Training on In- and Out-distribution 的训练方法，可用于提高神经网络在图像分类方面的稳健性和可靠性，同时维持更高的干净精度水平。

    Mar, 2020

  • 输入扰动对稳健准确公平性的双刃剑

    深度神经网络对于对抗性输入扰动具有敏感性，为了同时表征预测准确性和个体公平性对于对抗性扰动的易感性，我们引入了一个新的鲁棒性定义，称为鲁棒准确公平性。我们提出了一种名为 RAFair 的对抗性攻击方法，用以暴露在深度神经网络中存在的虚假或有偏见的对抗缺陷，可以通过精心设计的良性扰动来纠正这些对抗实例，从而使其预测准确且公平。我们的工作探索了对输入扰动在深度神经网络的鲁棒准确公平性上的双刃剑作用，并展示了利用良性扰动来纠正对抗实例的潜力。

    Apr, 2024

  • 训练独立子网络以实现鲁棒预测

    本文介绍了一种新的方法，在单个模型的前向传递中免费实现了实现多个预测的好处，利用多输入多输出（MIMO）配置，可以使用单个模型的能力来训练多个子网络，从而提高模型鲁棒性，而不增加计算成本。

    Oct, 2020