立场文件:不解释 (视觉模型) 的上下文
开发医疗人工智能的重要性;通过分析深度学习模型在视觉领域中是否遵循组织学家实践,并证明在预测时上下文信息对模型的性能具有重要影响,部分上下文信息可能导致模型行为不稳定。
May, 2024
本试验的目的是研究在模型与人类在图像年龄预测任务中表现相似情况下,给人类提供好的模型预测解释是否会提高人类预测的准确度,而不好的解释会降低人类对模型的信任。研究发现,给人类提供模型预测能提高人类准确度,但图像解释并不能改变人类对模型的准确度或信任的显著差异。这一发现表明有必要对后续的决策任务进行更全面的解释评估,为用户提供基于设计的解释工具,并思考更好的生成解释的方法。
Jul, 2020
该研究旨在提供计算机辅助教学的解释方式,建立一个能够为学习者提供理解性反馈的框架,指导学习者更好地理解相关概念和知识点。研究表明,相较于其他传统方法,该框架能够显著提高学习者在复杂分类任务中的表现。
Feb, 2018
本文提出了利用已有的视觉 - 语言模型 (Visual-Language Model, VLM) 联合嵌入空间的概念对立解释来解释黑盒分类器结果的方法,无需注释的数据集。通过利用胸部放射学报告中的文本概念和基于胸部放射学的预训练 VLM,解释了三种常见的心胸病理,证明了我们的方法生成的解释在语义上是有意义的,忠实于潜在的病理。
Jun, 2024
本文研究了在医学影像学领域中,Vision Transformer (ViT) 解释方法的表现,证明了 Transformer 的逐层相关传播法胜过本地可解释的模型不可知性解释和注意力可视化方法,在准确和可靠地表示 ViT 已经学到了什么方面提供了更好的表现。
Apr, 2023
本文利用元学习技术,通过优化解释,使得学生模型更有效地学习模拟原始模型,探讨了提供解释的明确目标及其实现方法,在三个自然语言处理和计算机视觉任务中,通过人类注释和用户研究,发现我们提取的解释与人类解释更加贴近。
Apr, 2022
该论文提出了一个生物学上启发的上下文感知对象识别模型,该模型由双流体系结构组成,动态地整合对象和上下文信息,并顺序推理目标对象的类标签,该模型不需要为每个任务重新训练,在各种行为任务中近似人类水平性能,捕捉上下文增强对图像属性的依赖性,并提供了整合场景和对象信息进行视觉识别的初始步骤。
Nov, 2019
提供上下文解释可以提高医疗专家对人工智能系统的信任度。我们使用多个 LLMs 构建了一个端到端的人工智能流程,包括数据集建立,风险预测模型,后续模型解释和可视化仪表盘,以识别 2 型糖尿病并发症慢性肾脏疾病的驱动因素及风险,证实了上下文解释在临床实践中的可行性和价值。
Feb, 2023
通过用户研究,本研究评估了可解释人工智能在实际场景中对人类决策的改进效果,结果发现虽然解释有助于用户更准确地描述模型,但对于模型选择和反事实模拟这两个任务,并没有找到使用任何显著改进的证据,这表明对基于显著性的解释的实用性和可能的误解需要谨慎对待。
Dec, 2023