Sep, 2023

医疗表格数据中的超出分布检测基准

PDF
TL;DR机器学习模型在现实世界的医疗系统中可靠地运用和避免在分布之外的数据上产生不准确的预测是非常重要的。该研究提出了一个全面的可复现基准测试，比较了不同方法在接近和远离分布之外的数据上的表现，特别关注医疗表格数据的处理。研究发现对于远离分布之外的数据，问题似乎已经解决，但对于接近分布之外的数据仍然存在挑战。此外，将后处理方法与基于距离的机制结合可以显著改善性能，而 Transformer 架构相对于 MLP 和 ResNet 架构来说更加保守。
machine learninggeneralizeout-of-distribution detectionbenchmarkmedical tabular data
发现论文，激发创造
  • 医疗领域的离群样本检测基准测试

    本文定义三类 Out-of-Distribution Detection 的示例，并在医学图像的三个领域中对常见的方法进行基准测试。结果表明，尽管这些方法对某些类别的 OOB 样本产生良好结果，但它们未能识别接近训练数据分布的图像，作者发现简单的二元分类器在特征表示上具有最佳的平均精度和 AUPRC。

    Jul, 2020

  • 基于置信度的越界检测：一项比较研究与分析

    通过对比研究和深度分析来评估各种最先进的方法对基于置信度的 OOD 检测的能力，并采用计算机视觉基准来复现和比较多种 OOD 检测方法。评估了它们在使用胸部 X 线进行疾病分类这一具有挑战性任务中的能力，结果表明在计算机视觉任务中高性能不直接转化为医学成像任务中的准确性，因此为开发下一代 OOD 检测方法提供了有用的见解。

    Jul, 2021

  • 医学图像分析中的外域检测：一项调查

    深度学习在计算机辅助诊断中得到了应用，但在实际临床场景中可能遇到分布偏移导致的静默失败问题，而最近的研究则探索了各种解决方案，包括分类和评估协议，以及缺乏探索的研究方向。

    Apr, 2024

  • 朝着外部分布检测的现实基准

    深度神经网络在各种技术和服务中得到越来越广泛的应用，但其容易受到来自训练集不同分布的样本的干扰，而常见的解决方法是使深度神经网络具备检测这种样本的能力。本文提出了一种基于 ImageNet 和 Places365 的全面评估标准，根据与训练集的语义相似性，将个别类别分为内部分布和外部分布，通过不同的技术确定哪些类别应被视为内部分布，得到具备不同性质的评估标准。不同的 ODD 检测技术在不同的评估标准下的实验结果表明，它们的有效性取决于所选择的评估标准，而基于置信度的技术在接近 ODD 样本上可能优于基于分类器的技术。

    Apr, 2024

  • 探索识别非分布极限

    该研究论文表明，大规模预训练的 transformers 网络可以显著提高深度神经网络在接近 out-of-distribution 检测上的性能，包括基于图像和基因组学数据的任务，并探索了利用少量样本进行 outlier exposure 及为该类任务提供名称信息的方法。

    Jun, 2021

  • 释放掩码：探索内在的外部分布检测能力

    本文提出了一种新的方法 ——Unleashing Mask，该方法使用掩模找出受记忆的非典型样本，并通过微调或修剪模型来忘记它们，从而恢复所训练模型的 OOD 鉴别能力。

    Jun, 2023

  • 全面的 OOD 检测改进

    机器学习中，识别推理数据是否超出模型的预期输入分布对于给出预测的上下文至关重要。我们的研究针对基于表示或基于逻辑方法的超出分布检测方法，并提出了用于特征嵌入降维的表示方法和解决了一个问题的基于逻辑方法。我们在 OpenOODv1.5 基准框架上验证了我们方法的有效性，结果显示性能显著提升，并达到了最新的技术水平。

    Jan, 2024

  • 持续无监督的外部分布检测

    不断进行未标注 OOD 检测的新设置，使用融合 Mahalanobis 距离和最近邻方法的 U-OOD 评分函数，并设计了一种置信度缩放的少样本 OOD 检测器，大幅改善相关领域的强基准模型。

    Jun, 2024

  • OpenOOD: 广义越界检测基准测试

    本文提出了一个名为 OpenOOD 的统一的、结构化的代码库，该库实现了超过 30 种 ODD 检测方法，并在最近提出的一般化 OOD 检测框架下提供了全面的基准。作者通过对这些方法的全面比较发现，过去几年中，该领域取得了显著进展，其中预处理方法和正交后处理方法显示出很强的潜力。

    Oct, 2022

  • 指向便携式超声成像乳腺癌分类方法的非同源检测

    通过使用三种不同的方法：softmax、能量分数和深度集成，并在三个不同的数据集上进行测试，本研究通过点对点超声图像对乳腺癌进行分类，并发现能量分数方法在两个数据集上优于 softmax 方法，而深度集成方法是最稳健的，在所有三个数据集上最适合检测 OOD 样本。

    Feb, 2024