IJCAIJun, 2022

使用反事实解释模型置信度提升模型理解和信任

PDF
TL;DR本文阐述了反事实解释信心分数是如何帮助用户更好地理解和更好地信任 AI 模型的预测，在人机交互系统中展示信心分数可以帮助建立人类和 AI 系统之间的信任，提出了两种用于理解模型信心的方法：(1) 基于反事实例；和 (2) 基于反事实空间的可视化。
counterfactual explanationsconfidence scoresai modelhuman-agent interaction systemsmodel confidence
发现论文，激发创造
  • 利用反事实分析解释模型确信度

    本文探究面向人工智能交互中置信度得分的反事实解释如何增强人对机器学习模型预测的理解和信任，并提出了两种理解置信度得分的方法，即基于反事实案例和基于反事实空间可视化，这两种方法可以相互补充，但也存在异同，因此需要进一步研究和设计更加精准有效的解释方法和应用场景。

    Mar, 2023

  • 理解反事实解释对人工智能辅助临床决策中信任与依赖的影响

    通过使用显著特征解释和假设性解释来更加分析性地对待人工智能建议，可以降低对人工智能的过度依赖，提高医疗决策过程中的性能和一致性，尤其是在确保人工智能提供正确输出的情况下。

    Aug, 2023

  • AI 辅助决策中置信度和解释对准确性和信任校准的影响

    研究了基于不同特征的人工智能辅助决策场景下，人类对人工智能的信任度与信任度校正，以及人类与人工智能协同工作的影响因素。结果表明，人类信任度的校正能够通过特定的置信度得到有效提高，尽管人类的专业独特知识对于决策的最终结果有良好的辅助作用，但同时也存在着使用本地解释会出现的问题。因此，我们需要探索新的可信度解释方法来更好地衡量和校正人类对人工智能的信任度。

    Jan, 2020

  • 计算反事实解释的方法 —— 一项调查研究

    机器学习模型日益广泛应用，因此解释其预测和行为变得越来越重要。本文综述了针对多种不同机器学习模型高效计算对抗性解释的模型特定方法，并提出了文献中尚未考虑的模型方法。

    Nov, 2019

  • 人工智能中的归因分数和因果反事实解释

    本文介绍了解释在人工智能中的重要性，特别是解释方法的新发展。通过讨论基于属性分数和因果关系的反事实解释法，强调了逻辑推理在处理反事实时的重要性和其对评分计算的作用。

    Mar, 2023

  • CERTIFAI：人工智能模型鲁棒性、透明度、可解释性和公平性的因果推断解释

    本文介绍了一个通用工具 CERTIFAI，可以应用于任何黑盒模型和任何类型的输入数据，通过生产接近输入但改变模型预测的 counterfactuals，探讨机器学习模型的鲁棒性、可解释性、透明性和公平性，并介绍了第一个黑盒模型鲁棒性分数 CERScore。

    May, 2019

  • AI 系统的反事实解释是否会扭曲普通用户对世界因果直觉的理解？如果是，我们能纠正吗？

    本文探讨了 AI 系统中基于反事实进行的解释在实际应用中所带来的影响以及其引发的因果信念变化，通过实验证明了提供 AI 系统预测的反事实解释会影响人们对于该预测所关联的特征是否具有因果性的判断，其结果表明指出 AI 系统只能捕捉到相关关系而非因果关系可以减轻其影响。

    May, 2022

  • 模型准确性和解释透明度如何影响用户信任

    研究表明，在机器学习中，准确度比可解释性更重要，添加解释可能会损害用户信任，同时高度真实的解释不能欺骗用户的信任，用户的信任感与其实际表现不符。

    Jul, 2019

  • 为什么不两者兼顾？在人工智能协作中，通过不确定性来补充解释和自信心的作用

    本研究进行实证研究，以确定不确定性估计和模型解释对用户对模型的信任和理解的影响，探讨如何将自信度纳入分析结果以提高决策求同的准确性。

    Apr, 2023

  • 评估模型解释在模型开发中的效用

    通过用户研究，本研究评估了可解释人工智能在实际场景中对人类决策的改进效果，结果发现虽然解释有助于用户更准确地描述模型，但对于模型选择和反事实模拟这两个任务，并没有找到使用任何显著改进的证据，这表明对基于显著性的解释的实用性和可能的误解需要谨慎对待。

    Dec, 2023