机器生成的解释对普通用户有多有用?对于猜测错误预测标签的人类评估
在高风险领域中,机器学习模型已经被广泛用于辅助决策,而开发可解释的模型的兴趣逐渐增加。然而,是否这些模型能实现预期的效果,我们缺乏实验研究来证明。本研究开展了一系列预先注册的实验,展示了具有不同要素的模型,以调查它们的可解释性。结果表明,模型越透明、特征越少,参与者越能成功地模拟模型的预测,但是参与者并没有更加倾向于紧密关注其预测,而拥有透明的模型却使参与者因信息过载难以检测和修正模型的重大错误。这些结果强调了开发可解释模型时实验测试的重要性。
Feb, 2018
本文探究了解释深度学习预测的方法对于随机扰动的敏感性,发现即使对于具有同一预测标签的两个感官不可分的输入,这些方法也会得出非常不同的解释结果,并分析了导致这种脆弱性的几何原因。
Oct, 2017
研究探讨了通过对模拟响应、验证建议响应、确定建议响应的正确性并观察其输入变化等三项特定任务,来解释可解释的 AI 的互动可能。结果表明,特定的正则化可以用于优化可解释性,而一些共同点和设计原则也可能存在于解释的系统之间。我们的结果表明,认知块比变量重复更影响表现,并且这些趋势在任务和领域中保持一致。
Jan, 2019
本研究通过适应性因果图的方式,探讨了人机共存下机器学习模型解释与人类理解的相互作用。研究发现,提高人类针对模型决策边界的理解是可能的,但提高人类对任务决策边界或模型错误的理解需要结合人类主观性经验去实现。最后,本研究提出了一些可行的措施,以及未来机器学习模型解释研究的方向。
Feb, 2022
本文提出了一种基于内部特征及可视化的方法,能够自动识别预先训练模型中与给定类相关的特征,以进行深度模型的解释和阐释,并且提出了一种针对 deconvNet 可视化操作引入的伪像问题的方法,同时还提出了一个专门用于视觉解释方法客观定量评估的数据集 an8Flower。实验证明,该方法在 MNIST、ILSVRC12、Fashion144k 和 an8Flower 数据集上能够产生具有良好主题相关特征覆盖的详细解释。
Dec, 2017
基于深度学习的解释性可视化方法在人工智能领域日益被重视,本文总结了目前解释深度学习模型的最新发展,并提出两种解释预测的方法,并将这些方法用于三个分类任务中进行评估。
Aug, 2017
本试验的目的是研究在模型与人类在图像年龄预测任务中表现相似情况下,给人类提供好的模型预测解释是否会提高人类预测的准确度,而不好的解释会降低人类对模型的信任。研究发现,给人类提供模型预测能提高人类准确度,但图像解释并不能改变人类对模型的准确度或信任的显著差异。这一发现表明有必要对后续的决策任务进行更全面的解释评估,为用户提供基于设计的解释工具,并思考更好的生成解释的方法。
Jul, 2020
该研究旨在提供计算机辅助教学的解释方式,建立一个能够为学习者提供理解性反馈的框架,指导学习者更好地理解相关概念和知识点。研究表明,相较于其他传统方法,该框架能够显著提高学习者在复杂分类任务中的表现。
Feb, 2018
研究比较了针对图像分类模型的基线、概念和反事实解释技术发现,反事实解释技术使用户能更准确地识别某些属性,并强调了衡量用户对模型偏差性推理能力的重要性。
Apr, 2022
本文综述了神经网络的解释工具和算法,提出了一种新的分类方法,介绍了解释结果的评估方法和信任度算法的应用,讨论了深度模型解释与鲁棒性和借鉴解释的联系,并介绍了一些开源库。
Mar, 2021