URL：一种用于可转移不确定性估计的表示学习基准

Jul, 2023

URL：一种用于可转移不确定性估计的表示学习基准

URL: A Representation Learning Benchmark for Transferable Uncertainty Estimates

Michael Kirchhof, Bálint Mucsányi, Seong Joon Oh, Enkelejda Kasneci

TL;DR基于预训练模型的不确定性感知表示学习（URL）基准评估了 11 种预训练模型在从 ImageNet 转移到八个下游数据集时的表示的可迁移性和不确定性的可迁移性，表明关注表示本身的不确定性或直接估计预测风险的方法优于基于上游类别概率的方法，但实现可迁移的不确定性量化仍然是一个挑战。

Abstract

representation learning has significantly driven the field to develop pretrained models that can act as a valuable starting point when transferring to new datasets. With the rising demand for reliable machine lea

representation learning pretrained models transferability uncertainty quantification url benchmark

发现论文，激发创造

预训练的视觉不确定性

准确的不确定性估计对可信赖的机器学习至关重要，本研究引入了视觉模型的首个预训练不确定性模块，类似于标准的预训练，这使得在大型预训练数据集上学习到的不确定性能够零样本迁移到专门的下游数据集，我们通过解决以前的不确定性模块中的梯度冲突并将训练加速了 180 倍，实现了在 ImageNet-21k 上的大规模预训练，我们发现预训练的不确定性能够泛化到未见过的数据集，通过审视学习到的不确定性，我们发现它们捕捉了与认知成分独立的基本不确定性，我们证明了这使得安全获取和不确定性感知的数据集可视化成为可能，为了鼓励将这项研究应用于更多的问题和领域，我们在以下链接中发布了所有预训练的检查点和代码。

Feb, 2024

通过不确定性量化对 LLMs 进行基准测试

通过整合不确定性量化的新型基准评估方法，本研究发现：准确性较高的大型语言模型可能显示出较低的确定性，较大规模的语言模型可能与较小规模的模型相比具有更大的不确定性，指令微调倾向于增加语言模型的不确定性。这些结果强调了在语言模型评估中整合不确定性的重要性。

Jan, 2024

哪些模型天生就擅长不确定性估计？

探讨深度神经网络架构与训练机制与其相应的选择性预测和不确定性估计性能的关系，并在 484 个预训练的深度 Imagenet 分类器中进行了全面的选择性预测和不确定性估计性能研究，发现 ViT 架构在不确定性估计性能方面表现最优。

Jun, 2022

不确定性基线：深度学习中的不确定性与鲁棒性基准

本文介绍了 Uncertainty Baselines，这是一个包括 19 个方法在 9 个任务上的高质量实现，以提供对不同方法进行比较的立即出发点，每个基线都是一个自包含的实验流水线，易于重用和扩展，同时提供模型检查点、实验输出和排行榜以比较结果。

Jun, 2021

使用公共互联网数据对多模式基础模型进行不确定性估计

基于自监督学习，基础模型可通过零样本能力对以前未见过的类别进行分类，并使用网络数据进行不确定性的估计；本文提出了一种使用具有与网络数据获取的潜在错误相关的新型一致性评分的拟合预测的不确定性估计的启发式方法，在生物医学基础模型中进行评估，并取得了满意的效果。

Oct, 2023

URSABench：深度神经网络近似贝叶斯推断方法的全面基准测试

本研究开发了一个基准测试套件 URSABench，旨在对基于深度学习的分类任务的近似贝叶斯推理方法进行全面评估，解决其存在的不确定性、稳健性和计算规模可扩展性等问题。

Jul, 2020

基于图像的城市交通预测的不确定性量化

深度学习模型对交通预测的强大预测性能使其得到广泛应用，但缺乏可解释性限制了其在实际智能交通系统中的部署。通过使用不确定性量化方法，我们调查了这些方法在跨多个城市和时间段的大规模基于图像的交通数据集上的应用，以获得对现有不确定性方法在交通预测中的实用性以及不确定性与城市交通动态之间的关系的全面认识。在在时间和时空转移任务上比较了两种认知不确定性方法和两种他稳不确定性方法后，我们发现可以恢复有意义的不确定性估计。此外，我们进一步演示了如何利用不确定性估计来检测城市交通动态变化中的无监督异常点。通过对莫斯科市的代表性案例研究，我们发现我们的方法能够捕捉到交通行为的时间和空间效应。我们的工作是在交通预测任务中推动不确定性意识的进一步发展，并旨在突出不确定性量化方法对于更好理解城市交通动态的价值贡献。

Aug, 2023

文本摘要中不确定性估计方法的性能评估可信吗？

通过引入综合评估标准，研究本文对两个大型语言模型和一个预训练语言模型在三个数据集上进行的不确定性估计能力的评估表明，多个不相关的自然语言生成指标和多样化的不确定性估计方法对于可靠高效地评估 UE-TS 技术至关重要。

Jun, 2024

科学领域中基于检索增强语言模型的不确定性量化的实证评估

通过在科学任务中综合评估检索增强的语言模型中的不确定性量化，本研究旨在填补检索增强语言模型不确定性量化方面的研究空白，发现检索语料库中包含的科学知识无法解决模型对预测结果过度自信的问题。

Nov, 2023

文本引导的图像检索的排名感知不确定性

提出了一种新颖的基于排名感知的不确定性方法，通过使用提供的三元组来建模多对多的对应关系，学习特征的随机排名列表，并对源输入和目标图像的分布表示进行分布规范化，从而在组合图像检索的两个公共数据集上取得了显著的结果。

Aug, 2023