Jun, 2021

不确定性基线：深度学习中的不确定性与鲁棒性基准

PDF
TL;DR本文介绍了 Uncertainty Baselines，这是一个包括 19 个方法在 9 个任务上的高质量实现，以提供对不同方法进行比较的立即出发点，每个基线都是一个自包含的实验流水线，易于重用和扩展，同时提供模型检查点、实验输出和排行榜以比较结果。
uncertainty estimatesrobustness estimatesdeep learningbaselinesexperiment pipeline
发现论文，激发创造
  • URSABench：深度神经网络近似贝叶斯推断方法的全面基准测试

    本研究开发了一个基准测试套件 URSABench，旨在对基于深度学习的分类任务的近似贝叶斯推理方法进行全面评估，解决其存在的不确定性、稳健性和计算规模可扩展性等问题。

    Jul, 2020

  • 贝叶斯深度学习中强基线的重要性

    本论文通过对 UCI 数据集上的回归实验的相关方法进行比较，揭示了实验过程中可能存在的问题，并指出在贝叶斯深度学习中使用相同的实验环境进行评估、比较和基准测试的重要性。

    Nov, 2018

  • 糖尿病视网膜病变任务中贝叶斯深度学习鲁棒性的系统比较

    我们提出了一个受真实医学图像诊断启发的新的贝叶斯深度学习基准测试，用于模型的不确定性预筛查，包括对分布变化的鲁棒性。目前的评估方法存在不足，在我们的基准测试中，我们发现一些解决 UCI 基准测试的技术过拟合数据集，而在我们的基准测试中则表现不如一些简单的技术。

    Dec, 2019

  • 自主车应用深度学习部件不确定性估计方法比较

    本文研究了自主车辆在安全关键任务中使用神经网络时，面临的不可避免的误差问题，并给出了一些用于评估这种不确定性的方法和指标，比较了各种不确定性量化方法在特定 AV 任务和类型的优劣。

    Jun, 2020

  • 正则化方法的稳健性和不确定性的实证评估

    本文通过对 CIFAR-100 和 ImageNet 上使用现有正则化方法进行的实证评估，指出某些正则化方法可以作为保证深度神经网络（DNN）鲁棒性和不确定性评估的强有力基线方法。

    Mar, 2020

  • URL：一种用于可转移不确定性估计的表示学习基准

    基于预训练模型的不确定性感知表示学习（URL）基准评估了 11 种预训练模型在从 ImageNet 转移到八个下游数据集时的表示的可迁移性和不确定性的可迁移性，表明关注表示本身的不确定性或直接估计预测风险的方法优于基于上游类别概率的方法，但实现可迁移的不确定性量化仍然是一个挑战。

    Jul, 2023

  • 深度不确定性：比较深度学习算法中的不确定性量化方法

    本文研究比较了在一个物理系统的背景下，深度学习算法的不确定性量化方法，包括贝叶斯神经网络，Concrete Dropout 和 Deep Ensembles，并探讨了它们的优缺点，结果为使用和解释不确定性量化方法提出了一些建议。

    Apr, 2020

  • 重新审视不确定性估计的评估及其在探索模型复杂度 - 不确定性平衡中的应用

    本研究针对神经网络预测的不确定性准确度进行研究，提出了针对不同使用场景下的新度量标准，探讨了模型复杂度与不确定度准确度之间的权衡关系，并通过实验验证了新度量标准的有效性和一些有趣的趋势。

    Mar, 2019

  • 深度学习不确定性工具包综述

    本文第一次对用于深度学习中不确定性估计的工具包进行梳理，比较了 11 种工具包的模型和评估能力，最终推荐了 Pyro、Tensorflow Probability 和 Uncertainty Quantification 360 三种最有前景的工具包，提出了在保障模型可信度和可复现性方面进一步统一评估和保障方法论的必要性。

    May, 2022

  • 机器学习与深度学习中不确定性的文献综述

    该研究综述了机器学习中不确定性的来源、分类和度量方法，并讨论了不确定性对决策过程的影响。重点关注深度学习领域，提供了广泛范围的不确定性讨论和深度学习中的不确定性量化方法的最新综述。

    Jun, 2024