ICMLMar, 2020

正则化方法的稳健性和不确定性的实证评估

PDF
TL;DR本文通过对 CIFAR-100 和 ImageNet 上使用现有正则化方法进行的实证评估，指出某些正则化方法可以作为保证深度神经网络（DNN）鲁棒性和不确定性评估的强有力基线方法。
发现论文，激发创造
  • 多样性高斯噪声一致性正则化：提高抗干扰性和不确定性校准

    本研究提出了一种基于多样高斯噪音的一致性正则化方法，来改进图像分类器在面临各种噪声干扰时的鲁棒性和准确性。经过多项测试，在各项图像分类基准测试中，本方法都显著地超越了当代各种先进方法，进一步提高鲁棒精度和不确定性校准。

    Apr, 2021

  • 人类不确定性使分类更加健壮

    本文通过训练具有反映人类知觉不确定性的完整标签分布来解决深度神经网络在泛化和鲁棒性方面存在的问题，并呈现了一个新的基准数据集 CIFAR10H。实验结果表明，基于该数据集的显式训练可以实现深度学习分类器具有人类的不确定性，并提高模型泛化性和抵御对抗攻击能力。

    Aug, 2019

  • 523 个 Imagenet 分类器的选择性预测和不确定性估计性能有什么可学之处

    本文考察 523 个现有的深度图像分类器在选择性预测和不确定性估计性能方面的表现，发现蒸馏型训练方案普遍比其他训练方案具有更好的估计不确定性的能力，ViT 模型在不确定性估计方面的表现超过其他模型。

    Feb, 2023

  • 深度图像合成神经网络预测不确定性的视觉分析

    利用不同方法高效估计深度神经网络的预测不确定性和敏感性，并将其互动比较和对比，以应对可靠的不确定性感知模型在深度图像合成任务中产生信息丰富且质量多样的插图，进一步提高深度可视化模型的稳健性和可解释性，使其在以视觉分析为基础的各个科学领域得以实际应用和方便使用。

    May, 2024

  • 哪些模型天生就擅长不确定性估计？

    探讨深度神经网络架构与训练机制与其相应的选择性预测和不确定性估计性能的关系，并在 484 个预训练的深度 Imagenet 分类器中进行了全面的选择性预测和不确定性估计性能研究，发现 ViT 架构在不确定性估计性能方面表现最优。

    Jun, 2022

  • 使神经网络对多种图像污染具有鲁棒性的简单方法

    该研究论文证明，通过对图像识别模型进行简单但适当的高斯噪声和斑点噪声训练，可以使其具有更好的泛化能力和对不同类型损坏更强的鲁棒性，并结合敌对训练方法进一步提高性能。

    Jan, 2020

  • 针对不确定性感知知识蒸馏的简单正则化

    本研究探讨一种简单的正则化方法，用于将多个机器学习模型的集成逐一蒸馏到一个神经网络中，以达到保持多样性，精度和不确定性估计特性的目的。

    May, 2022

  • 深度神经网络中的不确定性调查

    本文对神经网络不确定性估计进行了全面的概述和介绍，包括模型不确定性和数据不确定性，并介绍了通过确定性神经网络、贝叶斯神经网络、神经网络集合和测试时间数据增强方法来建模这些不确定性的方法。此外，还讨论了不确定性方面的实际应用中存在的挑战和限制，以及未来工作的展望。

    Jul, 2021

  • 文本的鲁棒性表示学习

    通过基于正则化的方法，限制深度神经网络对其输入的敏感性，从而学习出更加鲁棒的模型，实验表明这种方法在情感分析方面具有优秀的性能，尤其在处理有噪声和跨领域数据时，胜过基线模型和 dropout 方法。

    Sep, 2016

  • 深度神经网络对抗鲁棒性正则化的研究

    本文研究了神经网络建模的正则化视角，通过将模型向分类决策边界的平滑变化进行防御，使其尽可能不改变预测结果，但会导致预测结果的置信度下降，这种正则化方法要避免性能下降。

    Nov, 2020