Aug, 2024

寻找合适的中介者：因果可解释性的历史、调查与理论基础

HTML
PDF
TL;DR本研究针对当前因果可解释性领域中缺乏统一理论基础的问题，提出将因果中介分析作为研究框架。研究中明确了不同类型中介者的优缺点，提出发现新型中介者的必要性，并倡导更标准化的评估方法，以便于不同中介者在特定应用中的比较和选择，进而推动领域的进展。
发现论文，激发创造
  • 机器学习的因果可解释性：问题、方法和评估

    本文综述了因果可解释模型的问题和方法，并深入探讨了用于衡量解释度的评估度量标准，从而帮助实践者了解每种评估度量标准适用于哪些场景。

    Mar, 2020

  • 解读神经自然语言处理的因果中介分析：性别偏见案例

    通过因果中介分析理论，我们提出了一种方法来解释神经模型语言处理中行为的成因，并使用此方法研究了预先训练的Transformer语言模型中性别偏差的机制。通过对个体神经元和注意力节点的分析，我们发现性别偏差效应分布稀疏，集中在网络的小部分，并且能被不同的中介子部件放大或抑制，同时也可以通过中介子的直接和间接影响进行分解。

    Apr, 2020

  • 将知识表征映射到概念：回顾与新视角

    该研究审查了通过提出分类法来将人类可理解的概念与神经网络中的内部表示相对应的研究，并发现了与模型可解释性目标有关的文学研究中的歧义，即是理解机器学习模型还是在部署领域有用的可行解释。

    Dec, 2022

  • 神经网络中因果归因学习：超越直接影响

    本文研究了神经网络中因果关系的估计及维护，提出了一种有效的方法来捕获和维护直接和间接的因果关系，并在高维数据中量化因果属性。通过实验验证此方法学习的因果属性能够接近于真实效果。

    Mar, 2023

  • 神经网络稳健可解释性的因果分析

    本文提出了一种基于因果分析的鲁棒性干预方法，以捕获神经网络内部的因果机制，从而审核模型行为，获得更加稳定和可信的解释，该方法适用于图像分类等任务。

    May, 2023

  • 神经因果抽象

    通过聚类变量及其域的方法，发展了一种新的因果抽象方法，以更好地适应由Pearl的因果层次结构引发的个体因果分布，并进一步将这些结果与表示学习相结合，将这些结果更接近实际应用。

    Jan, 2024

  • 未发现的因果关系与模糊的影响：对解读神经网络构成挑战的反事实论证

    在解释性研究中，我们常常将反事实因果理论视为理所当然。尽管反事实呈现了比相关性方法更加准确的证据，但它仍然存在一些偏见，导致我们无法全面地捕捉到产生相同结果的多个独立充分原因和神经网络中的反事实依赖不具备传递性。我们讨论了这些挑战对解释性研究的影响，并提出了未来工作的具体建议。

    Jul, 2024

  • 潜在因果探索：基于数据的因果模型的形式化视角

    使用结构性因果模型分析了探索语言模型中潜在概念的能力，通过在合成的网格世界导航任务中进行实证研究提供了强有力的证据。

    Jul, 2024

  • 可解释性中的认知革命：从解释行为到解释表示与算法

    本研究针对深度学习模型的可解释性不足问题，提出基于认知科学的新视角。通过借鉴认知科学的发展，本文阐明了机械可解释性（MI）的目标并提出了一个新的分类法，以促进对深度学习模型的理解。研究表明，将行为研究与内部表示和算法的理解相结合，可以推动人工智能领域的理论进步和实践应用。

    Aug, 2024

  • 评估因果探测方法的可靠性：权衡、限制与无效干预的困境

    本研究解决了因果探测方法在理论基础上的有效性评估缺乏系统和实证分析的问题。提出了一种通用的实证分析框架，明确界定和量化了因果探测的两个关键要求：完整性和选择性。研究发现这两者之间存在固有的权衡，无论哪种方法都无法同时满足这两个标准，而无效干预的方法在完整性上始终远低于反事实干预，表明其在因果探测中的有效性受限。

    Aug, 2024