Feb, 2023

为深度神经网络基准测试可解释性工具

PDF
TL;DR本文提出 Trojan rediscovery 作为一项基准测试任务，以评估可解释性工具生成工程相关见解的实用价值，并设计了两种基准测试方法。最终将这些方法应用到 16 个特征归因 / 显著性方法和 9 个特征合成方法中，发现了现有工具之间的巨大差异，并指出了未来研究的方向。
interpreting deep neural networksinterpretability techniquestrojan rediscoveryfeature attribution methodsfeature synthesis methods
发现论文，激发创造
  • 深度神经网络可解释性方法评估基准

    本文提出了一种衡量深度神经网络特征重要性估计的近似准确性的经验方法，研究发现，在许多流行的可解释性方法中，只有某些集成方法，如 VarGrad 和 SmoothGrad-Squared，才能胜任随机指定特征重要性的任务。

    Jun, 2018

  • 用于神经 NLP 的精细可解释性评估基准

    本文提出了一种新的基准来评估神经网络模型和显著性方法的解释能力，其中包含英文和中文标注数据以及用于评估解释能力的标记。实验结果揭示了三种模型和三种显著性方法的解释能力的优劣，希望这个基准可以促进建立值得信赖的系统的研究。

    May, 2022

  • 可解释的深度学习：解释、可解释性、可信度及其他

    本文综述了神经网络的解释工具和算法，提出了一种新的分类方法，介绍了解释结果的评估方法和信任度算法的应用，讨论了深度模型解释与鲁棒性和借鉴解释的联系，并介绍了一些开源库。

    Mar, 2021

  • SaTML '24 CNN 可解释性竞赛：概念层面解释的新创新

    SaTML 2024 CNN Interpretability Competition 的目标是帮助人类众包工作者在 ImageNet 规模上检测卷积神经网络中的特洛伊木马，该报告展示了四个特别竞赛参赛作品的方法和结果，虽然通过可解释性工具帮助人类可靠地诊断特洛伊木马仍具挑战性，但竞赛的参赛作品为该领域做出了新的贡献并在 Casper 等人于 2023 年的基准上刷新了记录。

    Apr, 2024

  • 在时间序列预测中进行深度学习可解释性基准测试

    本篇论文研究了基于 saliency 的可解释性方法在时间序列数据上的应用，提出并比较了多种 saliency 方法在不同神经网络结构上的性能，并提出多种指标进行评估，发现常规的网络结构和 saliency 方法难以可靠和精确地识别时间序列数据中特征的重要性，这主要是由于时间和特征领域的混淆所导致的，但使用文中提出的两步形式的时间 saliency rescaling 方法可以显著提高 saliency 图的质量。

    Oct, 2020

  • 迈向透明 AI：深度神经网络内部结构解释综述

    本文回顾了超过 300 种内部可解释性技术，并引入了一种分类方法，介绍了它们对神经网络的什么部分（权重、神经元、子网络或潜在表示）进行解释，以及它们是在训练期间（内在）还是在训练后（事后）实现的。这篇文章强调了诊断、调试、敌对性和基准测试在未来研究中的重要性，以便使可解释性工具在实际应用中更有用。

    Jul, 2022

  • 深度学习的可视化可解释性调查

    本文综述了解神经网络表示和学习可解释 / 解耦的中间层表示的最新研究进展，并重点介绍了卷积神经网络 (CNNs) 的可视化、诊断、解耦、学习及其在可解释人工智能方面的前景趋势。

    Feb, 2018

  • 机器学习方法应用于神经影像的可解释性

    本篇论文介绍了最常见的解释性方法和评估可靠性的指标，并探讨了它们在神经影像学方面的应用和基准测试。

    Apr, 2022

  • 神经网络可解释性调查

    本文综述了神经网络的可解释性研究，详细阐述了可解释性的定义、重要性、以及基于不同维度的新颖分类方法（如主动 / 被动解释方法、从局部到全局的解释等）。最后还总结了当前可解释性评估方法，并提出了新的研究方向。

    Dec, 2020

  • 利用归因使神经网络可解释化：应用于隐式信号预测

    本文提出了一种新型的可解释深度神经网络的解释，通过使用掩蔽权重，可以将隐藏特征分解成几个输入限制的子网络，并训练成专家混合的增强模型，为复杂的机器学习模型提供说明，提高其效率，并实现了对合理解释进行推荐任务。

    Aug, 2020