贝叶斯泛化误差的上界在局部概念瓶颈模型中：局部瓶颈模型胜过朴素瓶颈模型

Mar, 2024

贝叶斯泛化误差的上界在局部概念瓶颈模型中：局部瓶颈模型胜过朴素瓶颈模型

Upper Bound of Bayesian Generalization Error in Partial Concept Bottleneck Model (CBM): Partial CBM outperforms naive CBM

PDF

Naoki Hayashi, Yoshihide Sawada

TL;DRConcept Bottleneck Model (CBM) methods for explaining neural networks have been improved upon with the introduction of Partial CBM (PCBM), which uses partially observed concepts and shows promising generalization performance, as revealed in this study through Bayesian analysis.

Abstract

concept bottleneck model (CBM) is a methods for explaining neural networks. In CBM, concepts which correspond to reasons of outputs are inserted in the last intermediate layer as observed values. It is expected t

concept bottleneck model neural networks partial cbm generalization performance bayesian generalization error

发现论文，激发创造

事后概念瓶颈模型

本研究介绍后续概念瓶颈模型（PCBM），它可以将任何神经网络转换为具有解释性的概念瓶颈模型，无需在训练数据中密集注释概念，同时保持模型性能和解释性优势。PCBM 还可以从其他数据集或自然语言描述中通过多模式模型转移概念，从而实现全局模型编辑。通过用户研究表明，通过概念层反馈编辑 PCBM 可以在不使用目标域或模型重新训练的数据的情况下，显著提高性能。

May, 2022

学习可推广基于概念的模型的辅助损失

我们通过引入概念瓶颈模型（CBMs）和合作 - 概念瓶颈模型（coop-CBM）以及概念正交损失（COL），在各种分布转移设置下的实验中，提出了一种提高神经网络透明度和性能的方法。

Nov, 2023

随机概念瓶颈模型

通过建模概念间的依赖关系并引入分布参数化，提出了一种基于概念瓶颈模型的新方法，通过影响相关概念来提高干预效果，并展示了其在合成表格和自然图像数据集上显著提高干预效果的经验证据，同时还通过对 CLIP 推导的概念进行检验来展示 SCBMs 的多功能性和可用性，减少了人工概念注释的需求。

Jun, 2024

学习干预概念瓶颈

传统的深度学习模型缺乏解释性，概念瓶颈模型（CBMs）通过其概念表示提供内在解释。本文提出了概念瓶颈记忆模型（CB2M），通过两重记忆，CB2M 能够在新情境中学习推广干预，纠正模型的预测结果，从而自动改进模型性能。实验结果表明 CB2M 可以成功地推广到未见数据并识别错误的概念，是用户提供 CBM 互动反馈的一种有效工具。

Aug, 2023

基于能量的概念瓶颈模型：预测、概念干预和条件解释的统一

我们提出了基于能量的概念瓶颈模型（ECBMs），通过使用一组神经网络定义候选（输入、概念、类别）元组的联合能量，以解决现有概念瓶颈模型存在的限制，提供更高的准确性和更丰富的概念解释。

Jan, 2024

概率性概念瓶颈模型

本研究中，我们提出了一种基于概率概念瓶颈模型（Probabilistic Concept Bottleneck Models，ProbCBM）的解释性模型，它可以通过建模概念预测的不确定性来提高可靠性和解释性。我们的方法不仅可以提供高水平的概念推导，还可以推断类不确定性。

Jun, 2023

增量残差概念瓶颈模型

我们提出了递增残差概念瓶颈模型（Res-CBM），以解决概念完整性的挑战。通过优化向量来完成缺失的概念，并将不明确含义的补充向量转化为候选概念库中的潜在概念，以增强任何 CBM 的性能。实验结果表明，Res-CBM 在准确性和效率方面优于当前最先进的方法，并在多个数据集上实现了与黑盒模型相当的性能。

Apr, 2024

稀疏线性概念发现模型

通过对比性语言图像模型和单一稀疏线性层，我们提出了一个简单而直观的可解释框架，通过基于贝叶斯推理的数据驱动伯努利分布来实现框架中的稀疏性，相比相关方法，在准确性和每个样本概念稀疏性方面均表现出色，为新概念的个体研究提供便利。

Aug, 2023

半监督概念瓶颈模型

我们提出了一个名为 SSCBM 的新框架，通过在标记和未标记数据上进行联合训练，并在概念层面对未标记数据进行对齐，解决了现有 CBMs 训练中的限制。实验证明我们的 SSCBM 既有效又高效，在仅有 20% 标记数据的情况下，实现了 93.19%（在完全监督设置下为 96.39%）的概念准确性和 75.51%（在完全监督设置下为 79.82%）的预测准确性。

Jun, 2024

概念瓶颈模型是否遵循局部性？

CBMs 在局部和相似度方面无法准确捕捉概念的条件独立性，这对于 CBMs 学习的概念表示的质量以及基于概念的解释的鲁棒性产生了质疑。

Jan, 2024