IJCAISep, 2023

自动概念嵌入模型 (ACEM): 无需训练时间概念，无问题！

PDF
TL;DR神经网络的可解释性和解释能力在特别是在安全关键领域和提供社会解释权方面不断增加。定概念解释在线合人类推理的方式上效果良好，是一种很好的解释模型的方法。概念嵌入模型是一种基于概念的解释架构，已经证明在解释能力和性能之间取得了平衡。然而，它们存在一个关键限制 -- 需要为所有训练数据提供概念注释。针对这一问题，我们提出了自动概念嵌入模型（ACEMs），可以自动学习概念注释。
interpretabilityexplainabilityneural networksconcept embedding modelsautomatic concept embedding models
发现论文，激发创造
  • 学会接受帮助：干预感知的概念嵌入模型

    通过构建和解释高层概念的预测，概念瓶颈模型（CBMs）解决了神经架构的不透明性。我们提出了一种新的 CBM 基于架构和训练范式的模型，称为 Intervention-aware Concept Embedding models（IntCEMs），通过在训练时学习概念干预策略，有效地选择和接受概念干预，从而在测试时显著提高性能。我们的实验证明，当提供测试时概念干预时，IntCEMs 明显优于最先进的概念可解释模型，验证了我们方法的有效性。

    Sep, 2023

  • 证据概念嵌入模型：面向皮肤疾病诊断的可靠概念解释

    由于医疗决策的重要性，对于医学图像分析中的可解释深度学习方法有着强烈的需求。本文提出了一种基于证据学习的概念嵌入模型 (ev-CEM)，用于建模概念的不确定性，并利用其来纠正在没有完全概念监督下使用视觉 - 语言模型训练概念瓶颈模型时出现的概念错位。通过使用所提出的方法，我们可以增强监督和高效标签设置下的概念解释的可靠性。此外，我们还引入了概念的不确定性以实现有效的测试时干预。我们的评估结果表明，ev-CEM 在概念预测方面具有出色的性能，并且所提出的概念纠正方法有效地减少了高效标签训练中的概念错位。我们的代码可在此 https URL 获取。

    Jun, 2024

  • 自监督可解释的基于概念的文本分类模型

    该研究论文提出了一种自监督可解释概念嵌入模型（ICEMs），通过利用大型语言模型的泛化能力，在自监督方式下预测概念标签，并通过可解释的函数提供最终预测结果。实验结果表明，ICEMs 可以以自监督方式进行训练，并达到类似于全监督概念模型和端到端黑盒模型的性能。此外，该模型在预测方面具有解释性、互动性和可控性，能够提供有意义的逻辑解释、允许通过概念干预修改中间预测结果，并引导大型语言模型按照所需的决策路径进行解码。

    Jun, 2024

  • 概念嵌入模型：超越准确性和可解释性的平衡

    该研究提出了一种新的概念限制模型 —— 概念嵌入模型，学习解释性高维概念表示，支持人类干预和提高模型性能，这是一个在真实世界条件下优化准确性、鲁棒性和解释能力之间权衡的方案。

    Sep, 2022

  • 概念嵌入分析：综述

    本文介绍了可解释人工智能（XAI）中的概念分析（CA）方法及其在深度神经网络内的应用，提供了一般性的 CA 定义和分类，总结了 30 多种相关方法和 15 个数据集，同时指出了未来研究方向和挑战。

    Mar, 2022

  • 因果概念嵌入模型：超越深度学习中的因果隐晦性

    引入因果概念嵌入模型（Causal CEMs）解决由于深度神经网络（DNN）推理中的因果性隐含而造成的不可解释性挑战。

    May, 2024

  • 自动基于概念的解释

    提出了概念解释的原则和求解算法 ACE，能够系统性地通过可视化概念提供对深度神经网络预测的重要性的人类可解释性解释。

    Feb, 2019

  • 基于语义概念嵌入的文本相似度估计

    通过结合传统词嵌入和语义概念嵌入，基于多网语义网络形式化提出的语义概念嵌入（CE）能够提高预测目标群体的准确性。

    Jan, 2024

  • 理解和增强基于概念模型的鲁棒性

    本研究旨在研究基于概念模型的鲁棒性和输出一致性的表现，提出并分析了不同的恶意攻击方式，并提出了基于对抗训练的防御机制，探讨了它们对模型在系统性扰动下的鲁棒性，发现所提出的防御方法可以提高概念模型的鲁棒性。

    Nov, 2022

  • 透明异常检测的基于概念的解释

    透明异常检测概念解释（ACE）是一种基于深度学习技术的新方法，旨在提供可解释的异常检测结果，并能与人类有效交互，具有与黑盒模型相比更高或相当的性能，并可与其他基于分类的异常检测方法无缝集成。

    Oct, 2023