AAAISep, 2019

基于敏感度的密集回归无需训练的不确定性估计

PDF
TL;DR提出三种方法以分析密集回归训练网络的输出方差，在推理过程中无需重新训练或调整模型，这些方法得出的不确定性估计结果与需要重新训练以及调整的最先进的方法相当甚至更好。
uncertainty estimationdeep learning modelscomputer visiondense regressionvariance analysis
发现论文，激发创造
  • 通过高斯过程回归代理进行时间序列预测的不确定性估计

    本研究提出了一种基于替代高斯过程模型的新的不确定性估计方法，能够为任何基础模型提供准确的不确定性估计，并证明该方法在时序预测数据方面比基于引导的方法在中小型数据区域和不同系列的基础模型，包括线性回归，ARIMA 和梯度提升中提供更准确的置信区间。

    Feb, 2023

  • 稀疏深度学习的不确定性量化

    本文探讨了深度学习中的不确定性矫正问题，提出并验证了在非参数回归任务中使用稀疏深度 ReLU 结构进行贝叶斯推断的理论模型，强调了其在统计推断方面的优势。

    Feb, 2020

  • 523 个 Imagenet 分类器的选择性预测和不确定性估计性能有什么可学之处

    本文考察 523 个现有的深度图像分类器在选择性预测和不确定性估计性能方面的表现，发现蒸馏型训练方案普遍比其他训练方案具有更好的估计不确定性的能力，ViT 模型在不确定性估计方面的表现超过其他模型。

    Feb, 2023

  • 深度神经分类器的偏差减少不确定性估计

    本研究提出了一种基于模型历史快照的算法，用于在非贝叶斯深度神经分类中，有选择地估计高度自信点的不确定性，这解决了从已训练网络中提取不确定信号的已知方法所带来的偏差估计问题，研究表明所提出的算法比所有已知方法的不确定性估计结果更加准确。

    May, 2018

  • 通过输入不确定性理解深度神经网络

    利用轻量级概率网络，将预测不确定性纳入灵敏度分析以及通过不确定性分解的新方法进行模型解释，最终提高了模型的鲁棒性和推广能力，并从输入域的不确定性解释预测不确定性，从而提供了验证和解释深度学习模型的新方法。

    Oct, 2018

  • 可靠的方差网络训练和估计

    本研究提出了新的互补方法来估计回归神经网络中的预测方差网络，经验证明此方法大幅改善了预测不确定性的估计。

    Jun, 2019

  • 哪些模型天生就擅长不确定性估计？

    探讨深度神经网络架构与训练机制与其相应的选择性预测和不确定性估计性能的关系，并在 484 个预训练的深度 Imagenet 分类器中进行了全面的选择性预测和不确定性估计性能研究，发现 ViT 架构在不确定性估计性能方面表现最优。

    Jun, 2022

  • 深度学习不确定性估计的通用框架

    提出了一种用基于贝叶斯信任网络和蒙特卡罗采样的方法来对神经网络进行不确定性估计，这个方法具有与神经网络结构和任务无关，不需要优化进程的更改，能够应用于已经训练好的结构，有效地提高了准确性。

    Jul, 2019

  • 密度不确定性层用于可靠的不确定性估计

    为了应用于深度学习的相关领域，评估深度神经网络的预测不确定性是至关重要的。本文提出了一种新的预测不确定性标准，它应该基于输入的经验密度，使得对于训练数据中不可能出现的输入提供更高的不确定性，对于更可能出现的输入提供较低的不确定性，并开发了一个用于随机神经网络的密度不确定性层，以确保满足这一标准，研究了具有密度不确定性层的神经网络在 CIFAR-10 和 CIFAR-100 不确定性基准上的性能

    Jun, 2023

  • 使用深度集成实现简单且可扩展的预测不确定性估计

    本研究提出了一种替代贝叶斯 NN 的简单实现方法，其能够产生高质量的预测不确定性估计，并在分类和回归数据集上进行了实验以证明这一点。此外，研究还评估了在已知和未知数据分布下的预测不确定性，并证明该方法能够在超出分布的样本上表现出更高的不确定性，同时在 ImageNet 上证明了该方法的可扩展性。

    Dec, 2016