本文介绍了一个用于评估医学图像分割中失败检测方法的综合基准框架，通过分析我们确定了当前失败检测度量的优点和局限性，并推崇风险覆盖分析作为一种整体评估方法，通过在包含五个公开的三维医学图像集合的综合数据集上评估各种失败检测策略的有效性，我们发现像素置信度聚合的重要性，并且观察到在医学图像分割中，集合预测之间的成对 Dice 分数（Roy 等人，2019）表现优秀，将其定位为简单而稳健的失败检测基准。为了促进持续的研究，我们将基准框架提供给社区使用。

Jun, 2024

通过对各种 CSFs 在四个生物医学任务和多样化的分布转变进行首个综合分析，我们得出结论，没有任何基准 CSFs 能可靠地防止静默故障，因此需要更深入地了解数据故障的根本原因。为了促进此过程，我们引入了 SF-Visuals，一种使用潜在空间聚类来可视化转变和故障的交互式分析工具。通过各种示例，我们展示了该工具如何帮助研究人员洞察在医学领域中安全应用分类系统的要求。

Jul, 2023

该研究通过对不同模型进行实验，探讨了通过使用熵等简单度量方法来捕捉高召回率的错分情况，以分析语义分割中的失败案例和预测准确性的问题。

Jun, 2024

现实世界中应谨慎使用图像分类器，验证集上的性能可能不能反映出真实世界中的性能。尤其是对那些在训练过程中经常遇到的条件，分类器可能表现良好，但对其他不常见的条件可能表现不佳。我们假设最近在文本到图像生成模型方面的进展使其成为对计算机视觉模型（如图像分类器）进行基准测试的有价值工具：它们可以生成以文本提示为条件的图像，这些图像会导致分类器失败，并允许使用文本属性描述失败条件。然而，当需要生成大量的合成图像时（例如，需要测试许多不同的属性组合时），生成成本成为问题。我们提出了一种图像分类器基准测试方法，作为一种迭代过程，交替进行图像生成、分类器评估和属性选择。该方法能够高效地探索最终导致性能问题检测的属性。

Apr, 2024

通过分析筛选乳腺 X 线检查中失败的人群，使用深度学习模型识别正常和异常组织贴片，并评估人口子组的分类偏差，得出哪些影像特征是深度学习模型性能较差的原因。

May, 2023

机器学习在生物医学领域的高风险场景中，通过减少错误分类率和识别异常预测的方法，显著提高模型性能，并应用于兽医放射学领域，增强了机器学习分类器在高风险、实际情况下的实用性和可信度。

Nov, 2023

本文提出了一种新颖的非侵入式系统故障预测技术，该技术利用开发人员提供的信息和原始日志中的最小信息（而不是挖掘整个日志），并将数 据完全保留在数据所有者的管辖范围内。

Sep, 2022

过去的研究表明，置信度评估方法往往会对错误的预测产生不利影响，本研究提出了一种新的置信度评估方法，通过寻找平坦极小值来扩大置信度差距，从而实现在多种分类场景下的失败预测性能的持续改进。

Mar, 2024

对领域转变的医学图像中的可靠自动疾病诊断中的转诊存在重要挑战，并找到了关键应用。

Nov, 2023

计算机视觉中使用标记数据集是主要的进展，近期的研究工作提出了用于自动识别错误标记图像的方法，但在实际数据集中有效实施这些方法的策略仍未充分探索。本研究在多个数据集上对最近发展的自动化错误标记检测方法进行了详细评估，结果表明该方法在清理真实世界视觉数据集中性能相似甚至优于先前方法。通过精心设计方法，将该方法应用于真实世界计算机视觉数据集后，在较小的数据情况下使每个分类器的性能提高了 8%。

Dec, 2023