使用随机调查实验测试基于显著性的可解释性在自然语言处理中的有效性

Nov, 2022

使用随机调查实验测试基于显著性的可解释性在自然语言处理中的有效性

Testing the effectiveness of saliency-based explainability in NLP using randomized survey-based experiments

Adel Rahimi, Shaurya Jain

TL;DR该研究通过一个基于随机抽样的实验，旨在检验基于显著性的事后可解释性方法在自然语言处理中的有效性，结果表明，人类往往会倾向于较少批判性地接受该类解释。

Abstract

As the applications of natural language processing (NLP) in sensitive areas like Political Profiling, Review of Essays in Education, etc. proliferate, there is a great need for increasing transparency in NLP mode

natural language processing explainable ai transparency biases experiment

发现论文，激发创造

通过众包评估自然语言处理中的显著性解释

通过众包方法，我们提出了一种新的基于人类的自然语言处理（NLP）显著性方法评估方法，对七种显著性方法在两个数据集上进行了实证评估，与现有的自动评估方法进行了对比，发现了 NLP 和计算机视觉（CV）领域在使用显著性方法时存在显著差异。

May, 2024

解开人工智能错误之谜：探索大型语言模型的人工和机器解释的有效性

本研究通过与最新方法（集成渐变、保守 LRP 和 ChatGPT）进行对比实证调查，收集和分析了 156 个人生成的文本和基于显著性的解释，并发现与机器显著性图相比，人工显著性图尤其在解释人工智能结果时更具说明性，但其性能与对人工智能模型和解释的信任负相关，揭示了人工智能解释中的困境：当有助于理解错误的人工智能预测时，会降低任务表现。

Apr, 2024

显著性学习：教导模型关注重点

本论文旨在通过提供解释训练并确保模型的解释与真实解释的一致性，教会深度学习模型以恰当的原因做出正确的预测。实验结果表明，所提出的方法比传统训练模型更加可靠和有效。

Feb, 2019

通过显著性地图语言化构建自然语言解释

该论文提出了一种方法将视觉化的神经网络关注热点与自然语言解释相结合，形成可读性更高的可解释性，研究表明这种方法比传统的热图可视化更易于人类理解。

Oct, 2022

信念偏误和解释的交互作用

该研究介绍了解释性方法的评估问题，说明了评估中信仰偏见的重要性并提出了 NLP 从业者应该如何解决这一问题，同时通过基于梯度的解释性案例研究得到，在评估中考虑个体先验信仰的重要性。

Jun, 2021

评估模型解释在模型开发中的效用

通过用户研究，本研究评估了可解释人工智能在实际场景中对人类决策的改进效果，结果发现虽然解释有助于用户更准确地描述模型，但对于模型选择和反事实模拟这两个任务，并没有找到使用任何显著改进的证据，这表明对基于显著性的解释的实用性和可能的误解需要谨慎对待。