借助内在方法解释深度神经网络
本文综述了解神经网络表示和学习可解释/解耦的中间层表示的最新研究进展,并重点介绍了卷积神经网络 (CNNs) 的可视化、诊断、解耦、学习及其在可解释人工智能方面的前景趋势。
Feb, 2018
本篇论文提出了一种从卷积神经网络中提取和解释知识的方法, 并通过可解释的加性模型量化地解释了神经网络预测的理由, 解决了可解释性问题和Typical Bias-Interpreting问题, 并通过实验证明了该方法的有效性。
Dec, 2018
本文概述了新兴的解释型AI领域,着重介绍了“事后”解释,从理论和比较评估的角度对解释算法进行测试并总结最佳应用实践,在代表性应用场景中成功使用可解释的AI,并讨论其未来挑战和方向。
Mar, 2020
本文综述了神经网络的可解释性研究,详细阐述了可解释性的定义、重要性、以及基于不同维度的新颖分类方法(如主动/被动解释方法、从局部到全局的解释等)。最后还总结了当前可解释性评估方法,并提出了新的研究方向。
Dec, 2020
本文提供了一个现有方法的回顾,以开发具有内在可解释性的DNN,重点关注卷积神经网络(CNNs),旨在了解向完全可解释DNN的当前进展,并确定当前工作中的差距和潜在研究方向。
Jun, 2021
本文回顾了超过300种内部可解释性技术,并引入了一种分类方法,介绍了它们对神经网络的什么部分(权重、神经元、子网络或潜在表示)进行解释,以及它们是在训练期间(内在)还是在训练后(事后)实现的。这篇文章强调了诊断、调试、敌对性和基准测试在未来研究中的重要性,以便使可解释性工具在实际应用中更有用。
Jul, 2022
该文研究了深度神经网络模型的可解释性,提出了SOXAI,探索了将其作为数据集级别的解释,以消除数据集偏差,从而提高模型的性能。
Jun, 2023
通过解释隐藏神经元的激活来理解可解释人工智能是一个重要的挑战:准确的解释有助于回答深度学习系统内部检测输入中什么是相关的问题,揭示深度学习系统原本的黑盒特性。该论文介绍了一种新颖的与模型无关的可解释人工智能方法,通过使用约200万个类别的维基百科派生的概念层次结构作为背景知识,并利用OWL推理进行解释生成。研究结果表明,该方法在定量和定性方面与先前的方法相比,为密集层的个别神经元自动添加有意义的类别表达式作为解释,具有竞争优势。
Apr, 2024