通过众包评估自然语言处理中的显著性解释
该研究通过一个基于随机抽样的实验,旨在检验基于显著性的事后可解释性方法在自然语言处理中的有效性,结果表明,人类往往会倾向于较少批判性地接受该类解释。
Nov, 2022
本文通过对 NLP 模型的神经语言进行全面的定量评估,从两个方面评价了预测解释的质量:可信度和可信度。通过评估,我们发现,如何在给定相同模型和预测时,不同的显着性方法经常在解释上产生分歧。作者建议部署此类方法到神经语言模型的未来工作,应该在得出结果之前仔细验证其解释。
Apr, 2021
本论文旨在通过提供解释训练并确保模型的解释与真实解释的一致性,教会深度学习模型以恰当的原因做出正确的预测。实验结果表明,所提出的方法比传统训练模型更加可靠和有效。
Feb, 2019
本文提出了一个针对图像和文本领域使用的人类注意力基准,使用多层人类注意力蒙版的评估方法评估了使用 Grad-cam 和 LIME 技术获得的模型显著性解释,并通过比较单层对象分割掩码评估的主观评分和基准阈值不可知的评估方法的效果,表明我们的基准更加有效。同时,本文的实验还揭示了主观评分中的用户偏见。
Jan, 2018
本文对几种显著性方法进行实验和理论探索,提出用可行的方法来评估一种方法所能提供和不能提供的解释类型。实验证明,有些现有的显著性方法具有独立性,这些方法不受模型和数据生成过程的影响,因此,那些未通过所提出测试的方法,对于对数据或模型敏感的任务( 如在数据中找到异常值,解释模型所学到的输入和输出之间的关系以及调试模型)是不适当的。与边缘检测类比,本文发现一些显著性方法无需训练数据或模型就能有效实现其功能。
Oct, 2018
计算机视觉模型的决策过程(尤其是深度神经网络)的不透明性意味着这些决策无法被人类理解。因此,在过去几年中,已经提出了许多提供人理解解释的方法。本文针对图像分类开发了新的评估指标,并对常见的显著性方法在 ImageNet 上进行了基准测试。此外,还提出了一种基于心理测评概念的可靠性评估方案。
Jun, 2024
本文研究使用的 CNN 在一些图像分类问题中表现非常好,但是解释 CNN 的操作是非常困难的。因此,本文提出了一种新型的解释算法,称为 LRP 算法,通过人机交互的方式发现这种算法被用于图像分类问题的特定图像特征敏感性,并针对该方法进行了用户评估。评估结果表明,该算法可以帮助参与者学习一些系统对特定图像特征的敏感性,但是对于新图像的分类任务提供的帮助似乎非常有限。因此,HCI 和人工智能社区需要超越实例级别的解释算法,继续研究解释 AI 的设计和进一步研究的问题。
Feb, 2020