Feb, 2023

后验退火：回归问题的快速校准不确定性

PDF
TL;DR本研究提出了一种名为后验退火的快速校准不确定性估计方法，适用于多种深度回归模型和任务，并在各种网络结构和不同领域的任务上进行了实证分析。
bayesian deep learninguncertainty estimationposterior annealingcalibrated uncertaintyregression tasks
发现论文，激发创造
  • 使用校准回归的深度学习准确不确定性

    本文探讨贝叶斯方法在不确定性问题上的推理方法，提出一种简单有效的校准程序，可以保证在足够的数据下，任何回归算法都能够产生准确的校准不确定性估计，并应用于贝叶斯线性回归、前向和递归神经网络中，能够稳定输出准确的区间预测，并提高时间序列预测和基于模型的强化学习性能。

    Jul, 2018

  • 神经网络回归的设计概率校准

    通过将后续校准嵌入到训练过程中，我们提出了一种名为量位数校准训练的新型端到端模型训练方法，该方法直接在训练过程中进行校准，无需额外参数，并且演示了其在大规模实验中在提高预测准确性的同时保持校准的性能。

    Mar, 2024

  • 针对领域偏移场景的后验不确定性校准

    本文探讨了深度神经网络中不确定性校准问题，并提出了一种针对域偏移的后处理校准方法，其通过对验证集的样本进行扰动，可大幅提高模型的校准性能。

    Dec, 2020

  • 通过准确度与不确定性优化来改善模型校准

    优化深度神经网络中的不确定性估计是安全关键应用中的一个重要问题。本文提出了利用准确度与不确定性之间的关系进行优化的方法，通过可微的 loss 函数来实现模型的不确定性校准，结果显示比现有的方法在大规模图像分类任务中表现的更好

    Dec, 2020

  • 神经网络回归中概率校准的大规模研究

    本文通过最大实证研究来评估神经网络的概率校准和比较多种校准方法，并发现正则化方法在概率校准和锐度之间提供有利的权衡，而修正方法具有更好的概率校准。同时，我们还展示了分位数校准可以被视为一种特定的修正方法，并论证了修正方法的概率校准优势来自于有限样本覆盖的保障。

    Jun, 2023

  • 冷后验分布与随机不确定性

    本文探讨了后验温度的调整在贝叶斯神经网络中的作用以及先验的影响，研究发现，在高质量的分类数据集如 MNIST 或 CIFAR 中，经常使用的先验能够显著地高估标签的不确定性。研究在高斯过程回归中发现，任何正数的温度都对应于一个经过修改的先验下的有效后验，而调整后验温度直接类比于经验贝叶斯。当应用于分类任务时，调整先验并不直接等同于调整后验温度，但是降低后验温度可以得到更好地反映新增训练样本信息的模型。因此，虽然冷后验并不总是对应于精确的推理过程，但我们认为，它们可能更好地反映了我们真实的先验信念。

    Jul, 2020

  • 基于贝叶斯神经网络的预测不确定性与后验校准对比

    使用贝叶斯神经网络进行预测可以直接模拟预测分布，在小数据组和表格数据中表现竞争力，并与校准神经网络进行比较。

    Sep, 2022

  • 深度学习中的一致置信现象及其对校准的影响

    本文研究了深度神经网络模型校准方面的现有问题，并发现这类模型存在大量 “几乎确定” 置信度，导致常常过于自信。同时，文章提出可采用 Mixup 数据增强技术中的修改损失函数的方法来解决此类问题。

    Jun, 2023

  • 通过距离感知先验校准贝叶斯神经网络的不确定性

    本文提出了一种基于距离感知的先验分布校准方法 (DAP)，可用于纠正贝叶斯深度学习模型在域外过于自信的问题，该方法可以作为后处理步骤执行，并能够有效地用于多种分类和回归问题。

    Jul, 2022

  • 面向领域自适应和子群特定的级联温度回归用于外域校准

    通过元集合级联温度回归方法，本文提出了一种新颖的事后校准方法，通过对验证集上的数据增强模拟不同领域的转变，为不同的测试集定制细粒度的缩放函数，捕捉多样化的不确定性，并通过回归网络学习得到类别特定和置信度特定的缩放，实现元集合之间的校准。通过在 MNIST、CIFAR-10 和 TinyImageNet 上进行广泛的实验证明了该方法的有效性。

    Feb, 2024