May, 2023

分发协同功能：统一博弈论交互方法以实现机器学习可解释性

PDF
TL;DR本文介绍了一种基于博弈论的归因和 k 阶相互作用方法的统一框架，重点是解释和解释模型的透明性。作者指出，各种方法都基于其在协同方案中的政策，并介绍了基于梯度的独特方法。最后，作者提出了需要深入了解归因和交互方法的目标和上下文。
deep learningmodel transparencyattribution methodsinteraction methodsgradient-based methods
发现论文，激发创造
  • 使用 Taylor 相互作用理解和统一十四种归因方法

    本文首次将诸多启发式设计的 14 种归因方法的核心机制，统一为一个数学系统，证明这 14 种方法的归因得分都可以重构为两种效应的加权求和，即每个输入变量的独立效应和输入变量之间的相互作用效应，并提出 3 个公平分配效应的原则来评价这 14 种归因方法的忠诚度。

    Mar, 2023

  • 输入特征归因分析的统一框架

    机器学习模型的决策过程解释对于确保其可靠性和公平性至关重要。我们提出了一个统一框架，通过四个诊断属性实现了突出和交互式解释的直接比较，并揭示了不同诊断属性方面各解释类型的优势。突出解释对模型预测最为忠实，而交互式解释对于学习模拟模型预测提供了更好的效用，这些认识进一步凸显了未来研究发展结合方法以提高所有诊断属性的需求。

    Jun, 2024

  • 解释深度学习中的局部、全局和高阶相互作用

    本文提出了一种简单且高度通用的方法来解释神经网络推理过程中的相互作用部分。我们设计了一种基于交叉导数的算法，用于计算个体特征之间的统计交互效应，该方法适用于 2 阶和高阶（3 阶或更高阶）交互项。此外，我们将交叉导数扩展到计算机视觉领域，提出了一种称为 Taylor-CAM 的方法，可以解释神经网络跨多个对象的关系推理过程。我们展示了我们的解释在定性和定量上的成功，并通过用户研究进行了验证。

    Jun, 2020

  • 特征交互的可解释归因：这种交互对我有何影响？

    Archipelago 为一种交互式的注释框架，通过一系列的实验，相较于其他方法，它可以更好地给出深度神经网络的解释。

    Jun, 2020

  • 合作博弈理论在分类中的影响

    采用公理化方法得出影响度量函数，可以分析某个分类器在确定分类结果时各个特征的影响力。通过该函数，分析用户画像对谷歌在线广告投放的影响。

    Apr, 2015

  • 交互式学习的信息论方法

    本文提出了一种量化的交互式学习和自适应行为方法，并从模型和决策制定的角度整合了行为反馈。通过在最小复杂度下最大化预测能力，导出了最优行为政策和模型的类，并总结了这一过程的因果组织。该方法的基本原则之一是学习者的最优行为政策需要在勘探和控制之间保持平衡，这是一个新的重点。

    Sep, 2007

  • 深度策略网络对机器人操作的决策解释

    通过应用输入归因方法对机器人策略网络进行可解释性分析，首次在线动态改变多模式传感器输入在深度策略网络中的输入归因，解释了机器人行为的影响因素。

    Oct, 2023

  • n 个玩家可微分游戏的力学

    本文介绍了用于解决许多深度学习模型中的问题的 Symplectic Gradient Adjustment (SGA) 算法，并提出了 Hamiltonian game 概念，使得 SGA 算法具有一定的保证，并在 GANs 等更广泛的游戏中表现出着和其他算法竞争力相当的性能。

    Feb, 2018

  • 神经网络特征评估中的不一致问题探究

    近年来，神经网络展示出了从原始数据中识别复杂模式和关系的卓越能力。然而，理解这些黑盒模型的内部机制仍具挑战性，但对于高风险决策至关重要。我们的研究通过调查解释的基本和分布行为来解决这种困惑。此外，通过全面的模拟研究，我们展示了常见缩放和编码技术对解释质量的影响，评估它们在不同效应大小中的功效，并展示了基于排序的评估指标的不一致性的来源。

    Apr, 2024

  • 对抗鲁棒性的统一博弈理论解释

    提供了一个统一的观点来解释不同的对抗性攻击和防御方法，即 DNNs 输入变量之间的多阶交互视图。基于多阶交互，我们发现对抗性攻击主要影响高阶交互来愚弄 DNN。此外，我们发现对抗性训练的 DNN 的鲁棒性来自类别特定的低阶交互。我们的发现提供了一种潜在的方法来统一对抗性扰动和稳健性，可以从原则上解释现有的防御方法。此外，我们的发现也修正了先前关于对抗性学习特征的有关形状偏差的不准确理解。

    Nov, 2021