Feb, 2024

预训练的视觉不确定性

PDF
TL;DR准确的不确定性估计对可信赖的机器学习至关重要，本研究引入了视觉模型的首个预训练不确定性模块，类似于标准的预训练，这使得在大型预训练数据集上学习到的不确定性能够零样本迁移到专门的下游数据集，我们通过解决以前的不确定性模块中的梯度冲突并将训练加速了 180 倍，实现了在 ImageNet-21k 上的大规模预训练，我们发现预训练的不确定性能够泛化到未见过的数据集，通过审视学习到的不确定性，我们发现它们捕捉了与认知成分独立的基本不确定性，我们证明了这使得安全获取和不确定性感知的数据集可视化成为可能，为了鼓励将这项研究应用于更多的问题和领域，我们在以下链接中发布了所有预训练的检查点和代码。
发现论文，激发创造
  • URL：一种用于可转移不确定性估计的表示学习基准

    基于预训练模型的不确定性感知表示学习（URL）基准评估了 11 种预训练模型在从 ImageNet 转移到八个下游数据集时的表示的可迁移性和不确定性的可迁移性，表明关注表示本身的不确定性或直接估计预测风险的方法优于基于上游类别概率的方法，但实现可迁移的不确定性量化仍然是一个挑战。

    Jul, 2023

  • 哪些模型天生就擅长不确定性估计？

    探讨深度神经网络架构与训练机制与其相应的选择性预测和不确定性估计性能的关系，并在 484 个预训练的深度 Imagenet 分类器中进行了全面的选择性预测和不确定性估计性能研究，发现 ViT 架构在不确定性估计性能方面表现最优。

    Jun, 2022

  • 523 个 Imagenet 分类器的选择性预测和不确定性估计性能有什么可学之处

    本文考察 523 个现有的深度图像分类器在选择性预测和不确定性估计性能方面的表现，发现蒸馏型训练方案普遍比其他训练方案具有更好的估计不确定性的能力，ViT 模型在不确定性估计方面的表现超过其他模型。

    Feb, 2023

  • 评估可扩展的贝叶斯深度学习方法在稳健计算机视觉中的应用

    该论文提出了一种深度学习可扩展的确定性和不确定性评估框架，并对两种最先进的可扩展方法进行了比较，即集成和 MC-dropout，结果表明集成方法提供更可靠和实用的不确定性估计。

    Jun, 2019

  • 基于梯度的单目深度估计不确定性

    本文提出了一种基于深度神经网络的后验不确定性估计方法，通过辅助损失函数的梯度来估计不确定性，避免依赖于地面真实信息的损失定义，可以实现对固定深度估计模型的有状态压制应用。该方法在 KITTI 和 NYU 深度 V2 基准测试中实现了最先进的不确定性估计结果，并且模型和代码都可以在该链接公开获取。

    Aug, 2022

  • 基于误差对齐不确定性优化的可靠多模态轨迹预测

    通过提出基于误差对齐的不确定性优化方法和引入可训练的损失函数来估算深度神经网络的不确定性，以取得与模型误差相关性强的不确定性预测。该方法适用于连续结构化预测和回归任务，并在包括大规模车辆运动预测任务的多个数据集上进行评估，通过 Pearson 相关系数表明我们的方法提高了平均位移误差和不确定性与模型误差之间的相关性。

    Dec, 2022

  • 使用公共互联网数据对多模式基础模型进行不确定性估计

    基于自监督学习，基础模型可通过零样本能力对以前未见过的类别进行分类，并使用网络数据进行不确定性的估计；本文提出了一种使用具有与网络数据获取的潜在错误相关的新型一致性评分的拟合预测的不确定性估计的启发式方法，在生物医学基础模型中进行评估，并取得了满意的效果。

    Oct, 2023

  • 使用狄利克雷元模型进行后验不确定性学习

    提出了一种基于贝叶斯元模型的方法，该方法用于增强预训练模型的不确定性量化能力，以实现不同应用场景下的预测性能，例如图像分类中的领域外数据检测、错分检测和可信迁移学习，无需额外的训练数据，从而在多个代表性图像分类基准测试上展示了更好的表现。

    Dec, 2022

  • 通过准确度与不确定性优化来改善模型校准

    优化深度神经网络中的不确定性估计是安全关键应用中的一个重要问题。本文提出了利用准确度与不确定性之间的关系进行优化的方法，通过可微的 loss 函数来实现模型的不确定性校准，结果显示比现有的方法在大规模图像分类任务中表现的更好

    Dec, 2020

  • 多模态不确定性感知视觉 - 语言预训练模型

    本文通过概率分布编码器（PDE）将所有模态的表示作为概率分布映射，对不确定性建模，提出了基于概率分布的预训练任务并在视觉和语言联合任务上实现了最先进的结果。

    Oct, 2022