Jan, 2022

通过多样性正则化提高集成模型的鲁棒性和校准性

PDF
TL;DR本文提出了一种新的多样性正则化方法，使用超出分布的样本并增加集成模型的整体准确性，校准性和对外部分布的检测能力。通过在 CIFAR-10、CIFAR-100 和 SVHN 上的实验证明了，多样性正则化对于校准性和稳健性以及外部分布检测具有显著影响。
calibrationuncertainty estimationdiversity regularizerensemblesrobustness
发现论文，激发创造
  • 深度集合中的多样性正则化

    为了提高深度神经网络在可靠的不确定性估计任务中的置信度校准性，本文提出了一种具有多样性函数正则化的深度集成训练策略，可以在维持相似预测准确度的情况下改善置信度校准性。

    Feb, 2018

  • 深度抗正则化集成提供可靠的外部分布不确定性量化

    本文提出了一种使用反正则化和控制过程的方法，来解决深度集成网络中的过度自信估计问题，该方法不需要任何超参数校准，并在回归和分类设置中得到了验证。

    Apr, 2023

  • 局部独立预测模型集合

    本文通过介绍新的多样性度量方法介绍了一种新的模型集成方法，该方法特别适用于数据限制和协变量转移，可显著提高模型的多样性和泛化性能。

    Nov, 2019

  • 多样化合奏提高校准度

    本文探讨了在深度神经网络中使用集成学习以及数据增强等技术，以提高 CIFAR10 和 CIFAR100 基准数据集的准确率和校准度。

    Jul, 2020

  • 不确定性量化和深度集成

    本文研究了在数据稀缺的情况下使用深度学习时，数据增强、集成学习和后处理校准方法之间的相互作用，并表明深度集成不一定会导致改进校准性能，必须进行微调后的后处理才能有效地降低标准深度集成中的预期校准误差。

    Jul, 2020

  • 从集成学习中学习时，多样性非常重要

    通过对集成方法进行扰动，可以增加模型多样性并提升性能。

    Oct, 2021

  • 自适应正则化的异方差和不平衡深度学习

    提出了一种针对 heteroskedastic 数据集的数据依赖正则化技术，该方法能同时解决标签不确定性和标签分布不均衡等问题，并在多个基准测试中证实了它的有效性。

    Jun, 2020

  • 多样性高斯噪声一致性正则化：提高抗干扰性和不确定性校准

    本研究提出了一种基于多样高斯噪音的一致性正则化方法，来改进图像分类器在面临各种噪声干扰时的鲁棒性和准确性。经过多项测试，在各项图像分类基准测试中，本方法都显著地超越了当代各种先进方法，进一步提高鲁棒精度和不确定性校准。

    Apr, 2021

  • 针对不确定性感知知识蒸馏的简单正则化

    本研究探讨一种简单的正则化方法，用于将多个机器学习模型的集成逐一蒸馏到一个神经网络中，以达到保持多样性，精度和不确定性估计特性的目的。

    May, 2022

  • DICE: 基于条件冗余对抗估计的深度集成多样性

    使用新型训练准则 DICE，提高深度集成模型的多样性并同时保持准确性，可以在 CIFAR-10 和 CIFAR-100 数据集上获得最新的最高准确率结果，并影响了校准、不确定性估计和在线协同训练。

    Jan, 2021