解释性的提高是否等同于最优性的减损?—— 解释对决策的偏见
算法效果对人类感知中特征和标签之间的因果关系进行了表示,这种表示可能与人类先验信念相冲突。解释可以引导人类注意冲突的特征,从而避免注意其他相关特征,从而导致因果过度归因,并且可能对人类的信息处理产生不利影响。
Feb, 2024
通过两项用户实验,本研究旨在提供实证证据,以解决机器学习算法的性能和可解释性之间的权衡问题,并发现其在最终用户的感知中的权衡程度相对较低,其取决于数据复杂性等情况,并根据第二项实验的结果,也发现了可解释性人工智能的增强手段是提高解释性的一种途径,但解释的类型对最终用户的印象起着至关重要的作用。
Jun, 2022
通过用户研究,本研究评估了可解释人工智能在实际场景中对人类决策的改进效果,结果发现虽然解释有助于用户更准确地描述模型,但对于模型选择和反事实模拟这两个任务,并没有找到使用任何显著改进的证据,这表明对基于显著性的解释的实用性和可能的误解需要谨慎对待。
Dec, 2023
该研究介绍了解释性方法的评估问题,说明了评估中信仰偏见的重要性并提出了 NLP 从业者应该如何解决这一问题,同时通过基于梯度的解释性案例研究得到,在评估中考虑个体先验信仰的重要性。
Jun, 2021
使用真实数据集进行对比和评估,在控制组、具有 AI 预测(未解释),以及具有解释的 AI 预测三组中比较和评估了人类决策的客观准确性。然后发现提供任何形式的 AI 预测都倾向于提高用户的决策准确性,但没有确凿的证据表明解释性 AI 具有实质性影响。因此,我们的研究结果表明解释性 AI 在某些情况下提供的 “何以解释” 的信息可能无助于用户的决策,需要进一步的研究来了解如何将解释性 AI 集成到实际系统中。
Jun, 2020
研究人员探讨了 AI 系统推荐错误或不公平的情况下,人工干预的必要性,并提供了关于解释、公平感知、依赖和分布公平性之间关系的理论框架,但文献并没有提供确凿证据证明解释在实践中实现了这种补充关系。
Apr, 2022
通过人类实验,我们发现属性解释法在某些情况下会导致决策者做出更糟糕的决策,这一结果挑战了应用这些方法的普遍好处的假定,在可解释的 AI 研究中人类评价的重要性下应该得到重视。
Dec, 2020
论文探讨了如何针对目标导向决策与论证性解释构建透明度的自动决策框架,其中使用基于假设的论证建模确保了 “好” 的决策的合理性,进而为不同用户提供精简与论证两种形式的解释。
Jan, 2022
本文探讨了人类和人工智能决策团队的过度依赖现象,提出了一种基于成本效益框架的策略模型来平衡 AI 解释带来的成本和效益,证明了在某些情况下 AI 解释可降低过度依赖。
Dec, 2022