评估图像分类器关于人类感知定义的地面真实标记（例如分割掩模）的解释，主要评估的是考虑中的模型的质量而不是解释方法自身。在这种观察的驱动下，我们提出了一个框架，用于联合评估将深度神经网络与解释方法相结合的安全关键系统的鲁棒性。这些系统在医学图像分析或机器人技术等实际应用中越来越广泛使用。我们引入了一种微调过程，将模型 - 解释的流程与地面真相错位，用它来量化人类对齐的最坏和最好情况之间的潜在差异。在各种模型架构和事后局部解释方法的实验中，我们对视觉变换器的鲁棒性和此类 AI 系统对潜在对抗攻击的整体脆弱性提供了洞见。

Nov, 2023

本文提出了一种与多个标注者的混淆有关的置信模型学习方法，通过对分类器网络添加熵或基于信息的正则化器来鲁棒地估计给定仅含有噪声标签的预测，并在 MNIST、CIFAR-10 和 FMNIST 等数据集上进行了实验，实验结果表明该方法在各项指标上均优于或与其他现有方法表现相当。

Jan, 2023

本文研究了计算机视觉中的标注者一致性对目标检测算法评估的影响，发现不同标注者意见的差异对算法的评估有很大影响，GT 的计算方法会对算法性能的排名产生很大的影响甚至可能导致算法性能被高估，且在某些数据集上很难确定一个算法优于另一个算法。

Jul, 2013

本文利用多个标注者的变异性作为 “地面真相” 不确定性的来源，将其与概率 U-Net 相结合，并在 LIDC-IDRI 的肺结节 CT 数据集和 MICCAI2012 前列腺 MRI 数据集上进行测试，发现能够以提高预测不确定性的估计，同时提高样本准确度和样本多样性。在实际应用中，该方法可以告诉医生有关分割结果的置信度。

Jul, 2019

使用 CrowdTruth 方法通过众包获得医疗关系提取的注释数据集，并通过建模歧义性提高数据质量并减少成本，展示了在人类和机器性能方面均考虑歧义性时的加权测量精度、召回率和 F 度量的优势。

Jan, 2017

通过研究概念为基础的模型，作者认为通过训练不确定的概念标签有助于减轻概念为基础的系统处理不确定干预时的弱点，从而披露了一些开放性挑战，并提到未来需要进行多学科研究来构建交互式的不确定性感知系统。

Mar, 2023

本文阐述 “数据透视主义” 的概念，提出通过采取人类主体在机器学习过程中所涉及到的知识表达方法，来代替传统的黄金标准数据集。文章探讨了如何在实践中采用透视主义态度来解决主观和客观机器学习任务的问题，并提出相关建议和研究议程。

Sep, 2021

本文提出了一种使用两个耦合的 CNN 从纯噪声观察中联合学习单个标注者的可靠性和真实分割标签分布的方法，该方法在三个公共医学影像分割数据集上表现良好，尤其是在注释数量较少且出现较大不一致性的情况下。

Jul, 2020

本篇文章提出了使用 CrowdTruth 衡量指标来有效地收集多领域多任务的 ground truth 数据，比传统的投票方式更具优势，并研究了人数增加对标注质量的影响。

Sep, 2018

通过 SUDO 框架，可以评估无标注的数据并训练模型，识别不可靠的预测结果和评估医学中 AI 系统的算法偏差。

Jan, 2024