Apr, 2023

在深度神经网络中预先修剪 Clever-Hans 策略

PDF
TL;DR本文探讨了解释性人工智能在验证机器学习模型中的应用，发现只有用户接受了解释并不能保证模型的准确性。作者还提供了一种新的方法，即 Explanation-Guided Exposure Minimization (EGEM)，通过预先剪枝未被积极解释反馈的 ML 模型变化来减少对隐藏的 Clever Hans 策略的依赖，最终在自然图像数据上获得更高的预测准确度。
explainable aimachine learning modelsclever hans effectsexplanation-guided exposure minimizationhidden flaws
发现论文，激发创造
  • 异常检测中的机智汉斯效应

    本文为异常检测模型提供了一种可解释人工智能（XAI）的方法，以突出不同类型模型所使用的相关特征，并揭示了 “Clever Hans” 效应在许多意外形式中的普遍存在，这是由于模型自身的结构使其无法检测到真正相关的特征，提供了警告，并指出通过允许多个异常模型相互取消其各自的结构缺陷来共同产生更好、更可信的异常检测器的可能出路。

    Jun, 2020

  • 通过与其解释交互使深度神经网络得到正确的科学原因

    该研究介绍了 “explanatory interactive learning”（XIL）的新型学习模式，并通过植物表型研究任务展示了它的好处，结果表明 XIL 可以帮助避免机器学习中的 “Clever Hans” 行为，鼓励或不鼓励对基础模型的信任。

    Jan, 2020

  • 欺诈性 AI 解释：创建和检测

    研究了如何使用深度学习和现有工具来创建和检测欺骗性解释，发现欺骗性解释可以骗过人类，但可以使用机器学习方法检测，即使缺乏领域知识，也可以以无监督的方式推断解释的不一致性。

    Jan, 2020

  • 深度神经网络的解释处理

    本文发现了一个问题：通过微调输入图像，我们可以演示图像识别的解释方式可以通过进化策略对其进行任意操作。通过我们的 Adversarial XAI 算法 AttaXAI，我们能够在不使用梯度或其他模型内部的情况下，成功地在黑盒设置下操作解释方法，从而实现了对图像做微小改变却使 XAI 方法输出特定解释的目标。

    Nov, 2022

  • 解决谜题：推导深度网络的最优解释

    通过整合不同的解释方法并利用非线性的 “解释优化器”，我们提出了一种新颖的框架，旨在增强深度神经网络的可解释性，并通过实验证实了其有效性。

    May, 2024

  • 揭示聪明的汉斯预测器并评估机器实际学习

    本文提出了半自动的光谱相关性分析，探究了学习机器如何解决各种问题，并对计算机视觉和街机游戏等各种任务进行了分析，展示了一系列解决问题行为。研究发现，标准的性能评估指标不能区分这些问题解决行为。此外，该方法可以帮助评估学习模型在特定问题上的可靠性，并将评价机器智能的成功更加细致和全面。

    Feb, 2019

  • 解开人工智能错误之谜：探索大型语言模型的人工和机器解释的有效性

    本研究通过与最新方法（集成渐变、保守 LRP 和 ChatGPT）进行对比实证调查，收集和分析了 156 个人生成的文本和基于显著性的解释，并发现与机器显著性图相比，人工显著性图尤其在解释人工智能结果时更具说明性，但其性能与对人工智能模型和解释的信任负相关，揭示了人工智能解释中的困境：当有助于理解错误的人工智能预测时，会降低任务表现。

    Apr, 2024

  • 预防虚假新闻检测中过度信任的机器学习解释

    研究表明通过引入可解释的 AI 助手来解释新闻评论平台中的假新闻，有助于改善用户对算法透明度的理解和信任程度，并提高他们的准确性。

    Jul, 2020

  • 可解释人工智能的漏洞：超越解释马蜂窝的问题

    本研究提出了解释能力陷阱的概念，这是一种在没有意图欺骗用户的情况下从 AI 解释中产生的未预期后果。研究旨在提高 Explainable AI（XAI）系统的可靠性，并提出了三个相互关联的层次：研究、设计和组织，以解决解释能力陷阱。

    Sep, 2021

  • MEGAN: 多说明图注意力网络

    该研究提出了一种名为 MEGAN 的多解释图注意力网络，可以独立选择多种解释途径，并在真实数据集上验证了其对提高研究的可解释性和精确性的能力。

    Nov, 2022