DUDES：利用集合的深度不确定性蒸馏进行语义分割

Mar, 2023

DUDES：利用集合的深度不确定性蒸馏进行语义分割

DUDES: Deep Uncertainty Distillation using Ensembles for Semantic Segmentation

Steven Landgraf, Kira Wursthorn, Markus Hillemann, Markus Ulrich

TL;DR本研究介绍了一种新方法 Deep Uncertainty Distillation using Ensembles for Segmentation (DUDES)，它能够高效地进行深度神经网络的预测不确定性估计，而不会牺牲性能，以解决自动驾驶、医学图像和机器视觉应用中模型可靠性不足的问题。

Abstract

deep neural networks lack interpretability and tend to be overconfident, which poses a serious problem in safety-critical applications like autonomous driving, medical imaging, or machine vision tasks with high d

deep neural networks predictive uncertainty safety-critical applications uncertainty estimation deep uncertainty distillation

发现论文，激发创造

自我分布蒸馏：高效的不确定性估计

本研究提出了一种新颖的训练方法 S2D，它可以有效地训练出一个单一模型以估算不确定性，也可以构建这些模型的集合并应用分层集成蒸馏方法，结果显示 S2D 模型优于标准模型和 Monte-Carlo Dropout，甚至连标准深度集成都能被 S2D 集成和新型蒸馏模型超越。另外还进行了 LSUN、Tiny ImageNet 和 SVHN 的外分布检测实验。

Mar, 2022

语义分割的深度确定性不确定性

本文提出将 Deep Deterministic Uncertainty 扩展至语义分割领域，其能够量化和分离模型的认识不确定性和随机不确定性，同时提出将 DDU 独立于像素位置进行应用，以此减少内存消耗，最后在 Pascal VOC 2012 数据集上使用 DeepLab-v3+ 神经网络结构能够有效提升模型性能与运算速度。

Oct, 2021

潜在判别确定性不确定性

该研究提出了一种可扩展的、有效的决策不确定性方法，通过利用区别最大化层，通过任意大小的可训练原型学习鉴别隐藏空间，以解决深度学习在实际中应用时不确定性预测的问题，该方法在图像分类、分割和单眼深度估计任务上超过了深度集合的现有技术。

Jul, 2022

评估不确定性估计方法在点云三维语义分割上的表现

本研究评估了三种不确定性量化方法，即深度集成，MC-Dropout 和 MC-DropConnect 在 DarkNet21Seg 3D 语义分割模型上的影响，并全面分析了各种参数对任务性能和不确定性估计质量的影响。研究发现，深度集成的表现在性能和不确定性度量方面优于其他方法，mIOU 提高了 2.4％，准确度提高了 1.3％，并提供可靠的不确定性来做出决策。

Jul, 2020

自动化深度集成与不确定性量化

AutoDEUQ 使用深度神经网络和超参数搜索自动生成神经网络集合，并使用方差法将预测方差分解为数据方差和模型方差，这种方法在许多回归基准测试中优于几种现有的不确定性量化方法。

Oct, 2021

深度学习全景分割中的不确定性估计

探讨如何将集成学习不确定性估计方法应用于全景分割领域，以提高现有网络的性能并为其预测结果提供更好的不确定性度量。

Apr, 2023

使用单个深度确定神经网络进行不确定性估计

论文提出了一种通过单次前向传递来训练确定性深度模型的方法，该深度模型可以找到并拒绝分布外的数据点。此外，论文还提出了一种基于确定性不确定性量化（DUQ）的建议，并描述了一种新的损失函数和质心更新策略。通过引入梯度惩罚，我们能够可靠地检测分布外的数据，并且可以在大型数据集上缩放不确定性量化。最后，作者在一些难以检测的数据集上，如 FashionMNIST vs. MNIST 和 CIFAR-10 vs. SVHN，使用单个模型得出了比 Deep Ensembles 更好的结果。

Mar, 2020

使用深度集成实现简单且可扩展的预测不确定性估计

本研究提出了一种替代贝叶斯 NN 的简单实现方法，其能够产生高质量的预测不确定性估计，并在分类和回归数据集上进行了实验以证明这一点。此外，研究还评估了在已知和未知数据分布下的预测不确定性，并证明该方法能够在超出分布的样本上表现出更高的不确定性，同时在 ImageNet 上证明了该方法的可扩展性。

Dec, 2016

确定性认知不确定性的实用性

本文提出了一组新的方法，可以通过单次前向传递来估计深度神经网络中的认识不确定性，这些确定性不确定性方法在表示信息的前提下，在检测超出分布数据（OOD）方面表现出强大的性能，同时几乎不增加推理时间的计算成本。然而，DUMs 是否校准良好且是否可以无缝地扩展到实际应用仍不清楚。本文对 DUM 进行分类和评估，发现当前方法的实用性受到分布移位校准的限制。

Jul, 2021

EDUE：基于专家意见引导的一遍式医学图像分割不确定性估计

本研究提出了一种基于专家分歧引导的不确定性估计方法（EDUE），用于医学图像分割，通过利用多个评分者对地面事实标注的变异性，我们在训练过程中引导模型，并结合基于随机抽样的策略来增强校准置信度，我们的方法在图像和像素级别上与专家分歧相比，平均相关性分别提高了 55% 和 23%，具有更好的校准性能，并且相较于最先进的深度集合，在只需进行单次前向传递的情况下，具有具有竞争性的分割性能。

Mar, 2024