通过基于样例的解释和编辑模型输入直观评估机器学习模型的可靠性

Feb, 2021

通过基于样例的解释和编辑模型输入直观评估机器学习模型的可靠性

Intuitively Assessing ML Model Reliability through Example-Based Explanations and Editing Model Inputs

Harini Suresh, Kathleen M. Lewis, John V. Guttag, Arvind Satyanarayan

TL;DR本文介绍了两个视觉分析模块，以帮助用户更直观地评估模型可靠性和不确定性，并通过使用交互式编辑器，用户可以操作模型的输入以及比较其输出，从而提高对模型能力和局限性的理解。在心电图节拍分类案例研究中，与基线特征重要性界面相比，我们发现 14 名医生能够更好地将模型的不确定性与领域相关因素相一致，并建立直觉。

Abstract

Interpretability methods aim to help users build trust in and understand the capabilities of machine learning models. However, existing approaches often rely on abstract, complex visualizations that poorly map to the task at hand or require non-trivial ML expertise to interpret. Here,

interpretabililty methods machine learning models visual analytics model reliability uncertainty

发现论文，激发创造

运用视觉分析解释预测机器学习模型

通过视觉分析技术，我们可以在不牺牲预测质量的情况下理解黑盒机器学习模型的推理过程，从而提高模型的可解释性。

Jun, 2016

重新思考用户研究设计以评估模型解释

该研究通过一个众包实验，探讨解释机器学习模型的预测对人类是否具有帮助，并发现在给定特征系数的情况下，人们能够更有效地对线性词袋模型进行操纵，但解释对 BERT 型分类器并没有显著提高操纵能力，而通过伪造 BERT 模型的线性模型的对全局归属的解释则可以有效地操作 BERT 型模型。

Dec, 2021

基于布尔规则解释的用户驱动模型调整

本文提出了一种交互式叠加方法，该方法利用机器学习模型的预测能力，同时允许用户指定决策边界的修改，从而实现在不需要重新训练模型的情况下对决策系统进行实时修改，并展示了用户反馈规则可以与机器学习预测结合以支持更少数据的学习。

Mar, 2022

机器学习模型分析的改进：可视化分析的视角

本研究论文系统地总结了交互模型分析的三大类任务：理解、诊断和改进，旨在帮助用户高效解决实际的人工智能和数据挖掘问题，同时探讨了相关未来研究机会。

Feb, 2017

量化机器学习系统的可解释性和可信度

本文提出了一种量化解释性方法质量的量化度量，并在众包实验中通过信息传输速率得到了实证证据，从而说明解释性方法的价值。同时，还提出了一种信任度量，以检测人类决策是否过度偏向机器学习预测。

Jan, 2019

可解释的人工智能：理解、可视化和解释深度学习模型

基于深度学习的解释性可视化方法在人工智能领域日益被重视，本文总结了目前解释深度学习模型的最新发展，并提出两种解释预测的方法，并将这些方法用于三个分类任务中进行评估。

Aug, 2017

对解释的人类可解释性评估

研究探讨了通过对模拟响应、验证建议响应、确定建议响应的正确性并观察其输入变化等三项特定任务，来解释可解释的 AI 的互动可能。结果表明，特定的正则化可以用于优化可解释性，而一些共同点和设计原则也可能存在于解释的系统之间。我们的结果表明，认知块比变量重复更影响表现，并且这些趋势在任务和领域中保持一致。

Jan, 2019

机器学习方法应用于神经影像的可解释性

本篇论文介绍了最常见的解释性方法和评估可靠性的指标，并探讨了它们在神经影像学方面的应用和基准测试。

Apr, 2022

操纵与测量模型可解释性

在高风险领域中，机器学习模型已经被广泛用于辅助决策，而开发可解释的模型的兴趣逐渐增加。然而，是否这些模型能实现预期的效果，我们缺乏实验研究来证明。本研究开展了一系列预先注册的实验，展示了具有不同要素的模型，以调查它们的可解释性。结果表明，模型越透明、特征越少，参与者越能成功地模拟模型的预测，但是参与者并没有更加倾向于紧密关注其预测，而拥有透明的模型却使参与者因信息过载难以检测和修正模型的重大错误。这些结果强调了开发可解释模型时实验测试的重要性。

Feb, 2018

输入特征归因分析的统一框架

机器学习模型的决策过程解释对于确保其可靠性和公平性至关重要。我们提出了一个统一框架，通过四个诊断属性实现了突出和交互式解释的直接比较，并揭示了不同诊断属性方面各解释类型的优势。突出解释对模型预测最为忠实，而交互式解释对于学习模拟模型预测提供了更好的效用，这些认识进一步凸显了未来研究发展结合方法以提高所有诊断属性的需求。

Jun, 2024