信任问题：不确定性估计不足以在医疗表格数据上实现可靠的 OOD 检测

Nov, 2020

信任问题：不确定性估计不足以在医疗表格数据上实现可靠的 OOD 检测

Trust Issues: Uncertainty Estimation Does Not Enable Reliable OOD Detection On Medical Tabular Data

Dennis Ulmer, Lotta Meijerink, Giovanni Cinà

TL;DR本文旨在解决医疗数据的机器学习模型预测不确定性问题，针对混合型数据（例如电子病历）进行大量测试，并对现有的不确定性估计技术进行评测，发现几乎所有技术都无法较好地识别配对之外的病人。

Abstract

When deploying machine learning models in high-stakes real-world environments such as health care, it is crucial to accurately assess the uncertainty concerning a model's prediction on abnormal inputs. However, t

machine learning uncertainty estimation mixed-type data health care electronic health records

发现论文，激发创造

基于置信度的越界检测：一项比较研究与分析

通过对比研究和深度分析来评估各种最先进的方法对基于置信度的 OOD 检测的能力，并采用计算机视觉基准来复现和比较多种 OOD 检测方法。评估了它们在使用胸部 X 线进行疾病分类这一具有挑战性任务中的能力，结果表明在计算机视觉任务中高性能不直接转化为医学成像任务中的准确性，因此为开发下一代 OOD 检测方法提供了有用的见解。

Jul, 2021

医疗表格数据中的超出分布检测基准

机器学习模型在现实世界的医疗系统中可靠地运用和避免在分布之外的数据上产生不准确的预测是非常重要的。该研究提出了一个全面的可复现基准测试，比较了不同方法在接近和远离分布之外的数据上的表现，特别关注医疗表格数据的处理。研究发现对于远离分布之外的数据，问题似乎已经解决，但对于接近分布之外的数据仍然存在挑战。此外，将后处理方法与基于距离的机制结合可以显著改善性能，而 Transformer 架构相对于 MLP 和 ResNet 架构来说更加保守。

Sep, 2023

基于不确定性的文本可靠分类

本文针对文本分类任务中的 OOD 检测问题，提出了基于证据不确定性的方法，该方法通过引入辅助的离群样本和伪样本来训练模型，并明确建模了类别概率的不确定性。实验证明，该方法能够轻松部署于传统 RNN 和 Fine-tuned 预训练 transformers，并在 OOD 检测上优于其他方法。

Jul, 2021

医疗领域的离群样本检测基准测试

本文定义三类 Out-of-Distribution Detection 的示例，并在医学图像的三个领域中对常见的方法进行基准测试。结果表明，尽管这些方法对某些类别的 OOB 样本产生良好结果，但它们未能识别接近训练数据分布的图像，作者发现简单的二元分类器在特征表示上具有最佳的平均精度和 AUPRC。

Jul, 2020

基于不确定性估计视角的图分类中的 OOD 检测

本研究从不确定性估计的角度考虑了图分类的离群检测问题，对几种最近提出的方法进行了比较，发现在离群检测时需要考虑图形表征和预测分类分布。

Jun, 2022

关于外分布泛化评估的调研

机器学习模型在非独立同分布的数据分布下表现出可疑的风险，因此需要发展算法来评估和改善模型的泛化能力以及处理分布变化的能力。本文综述了现有的非独立同分布泛化评估的研究，将其划分为三个范式：非独立同分布性能测试、非独立同分布性能预测和非独立同分布内在特性表征，并简要讨论了预训练模型的非独立同分布评价。最后，提出了未来研究的几个有前景的方向。

Mar, 2024

Wild-Tab：表格回归的超出分布泛化性能基准

通过 Wild-Tab，一个面向表格回归任务的大规模基准测试集，我们在实际环境中评估了 10 种不同的 out-of-distribution generalization 方法，发现 Empirical Risk Minimization 在所有评估中都表现出强大的鲁棒性，与最先进的方法不相上下，这有望促进对 out-of-distribution generalization 的更多研究并有助于在各种实际场景中部署机器学习模型。

Dec, 2023

重塑三维医学图像的异常检测

通过使用 Expected Performance Drop (EPD) 作为新问题设计的核心贡献，我们重新定义了医学图像分割中的异常检测问题，该方法在 11 个 CT 和 MRI OOD 检测挑战中展示了其有效性。

Aug, 2023

可证明鲁棒性的无需付出昂贵代价的异常检测

研究使用机器学习技术的安全关键系统需要可靠的不确定性评估。本研究发现，深度神经网络在处理分布外数据时可能会产生过度自信的预测。本研究提出了一种具有保护分布外数据和高准确度的分类器，并提供所有实验代码。

Jun, 2021

基于不确定性的深度增强学习外分布分类

提出基于不确定性的 Out-of-Distribution 分类框架（UBOOD），通过利用智能体价值函数的认知不确定性，结合不同的不确定性估计方法进行分类，包括具体的负值 dropout 方法或集成方法，并采用训练数据的不确定性分布计算动态分类阈值，实现对深度 RL 中的 Out-of-Distribution 数据的可靠检测。

Dec, 2019