Jun, 2022

Merlin-Arthur 分类器：基于交互式黑盒子的形式可解释性

PDF
TL;DR通过 Merlin-Arthur 协议的启发，我们提出了一种新的理论框架，使得像神经网络这样的黑盒分类器可以解释，用互信息作为衡量指标来证明特征与类别之间的信息量下限，并通过实验验证了理论与实践的一致性。
black box classifiersneural networksinterpretablemerlin-arthur protocolmutual information
发现论文，激发创造
  • 整合白盒与黑盒技术用于可解释的机器学习

    在机器学习算法设计中，算法的可解释性和性能之间存在着一个权衡。我们提出了一种集成分类器设计，使用高度可解释的分类器（即白盒模型）来分类较简单的输入，使用更强大但不太可解释的分类器（即黑盒模型）来分类较困难的输入。

    Jul, 2024

  • 黑盒分类器的信息论视觉解释

    该研究从信息熵角度试图解释任意黑匣子分类器的预测结果，比现有方法提高了量化评价的正确性，通过提供两个信息熵评估指标（信息增益图和逐点互信息图）来分别提供类别无关和类别特定的结果。作者还对 ImageNet 分类器进行了详细分析，并提供了在线代码。

    Sep, 2020

  • 知识图谱的简洁可解释概率分类器

    描述了一种基于学习简单的置信网络的归纳方法，以解决描述逻辑中表示的知识图中从不完整数据中学习概率分类器的问题，并将这些模型转化为（概率）公理（或规则），从而确保更高的可解释性。

    Jul, 2024

  • 欺骗性证书选择的难度

    通过交互式证明系统和证明者选择一个具有信息量的证书的方式，以达到高完整性和声音，从而对具有高互信息的证书进行边际分析，区分高维数据集。进而证明 Asymmetric Feature Correlation 是难以计算利用的，从而推断它不会阻止交互分类用于现实任务。

    Jun, 2023

  • 可解释的、可探究的黑匣子模型近似

    提出了 BETA 框架，通过透明的逼近来解释任何黑盒分类器的行为，允许用户交互式地探索用户感兴趣的不同子空间中黑盒模型的行为。实验评估表明，与现有基线相比，该方法可以生成高度紧凑，易于理解，但准确的各种预测模型的逼近。

    Jul, 2017

  • 可解释的数据驱动建模通过专家混合：朝着有效融合灰箱和黑箱模型

    我们提出了一种基于 “专家混合” 的综合框架，以解决传统模型和机器学习方法在处理复杂系统时的准确性和解释性之间的平衡问题。通过数据驱动的融合多样化的本地模型，充分利用基于原则的先验知识，我们的解决方案支持专家的独立训练，并结合了机器学习和系统辨识技术，同时支持合作和竞争学习范式。为了增强解释性，我们对专家组合的突变进行了惩罚。实验结果验证了我们的方法的有效性，能够产生与目标现象紧密相似且可解释的模型组合。

    Jan, 2024

  • 通过带有动态命题的布尔公式实现全球可解释的分类器

    提出一种从表格数据中提取可立即解释的人类可理解分类器的方法，并使用 Answer Set Programming 实现，其优点是分类器长度短且容易理解，与参考方法相比准确度相近。

    Jun, 2024

  • 使用知识图谱计算基于规则的机器学习分类器解释

    使用知识图谱作为机器学习分类器解释操作的术语，并提出一种提取和表示黑匣子解释的新方法。

    Feb, 2022

  • 通过机制可解释性为模型性能提供可证明的保证

    使用机制性可解释性推导和简明证明模型性能的形式保障，通过形式下界评估小型 Transformer 模型在 Max-of-k 任务上的准确率，并通过多种证明策略量化地展示了机制性理解与性能保障的紧密联系，最终确定了结构缺失噪声的叠加作为使用机制性可解释性生成简明证明的关键挑战。

    Jun, 2024

  • 使用形式化数学开发无缺陷的机器学习系统

    通过可交互的证明助手，开发者能够证明机器学习系统的正确性，这种方法暴露了所有的实现错误，并通过 Certigrad 实现了优化的随机计算图，并生成了一个机器可验证的证明，证明了系统采样的梯度是数学梯度的无偏估计方法。

    Jun, 2017