机械解释性是一种新兴的解释性子领域，通过反向工程其内部计算来理解神经网络模型。本文为了填补这一领域的空白，提出了一份全面的调查报告，概述了机械解释性的研究对象、调查技术、评估结果、重要发现和应用，以及为新手提供的指南。此外，还指出了该领域存在的当前差距，并讨论了潜在的未来发展方向。

Jul, 2024

高维神经网络通过理解机制可解释性的视角提供对低维表示的洞察力，并从中获得人类领域知识的相关见解。通过研究训练用于重现核数据的模型，我们提取出核物理概念作为一个案例研究。

May, 2024

理解人工智能系统的内部工作对于确保价值对齐和安全至关重要。本综述通过逆向工程神经网络学习的计算机机制和表示，将其转化为人类可理解的算法和概念，从而提供一个细致的，因果性的理解。我们建立了基本概念，如神经激活中编码的知识特征以及有关其表示和计算的假设。我们调查了因果分解模型行为的方法论，并评估了机制解释对人工智能安全性的相关性。我们研究了可扩展性、自动化和全面解释方面的挑战。我们主张明确概念、确立标准，并扩展处理复杂模型和行为以及拓展到视觉和强化学习等领域的技术。机制解释有助于防止人工智能系统变得更强大和不可理解时的灾难性结果。

Apr, 2024

提出了内部解释能力作为一个新兴领域，旨在揭示人工智能系统的内部机制，尽管如何发展这些机制理论仍存在争议。然而，最近的批评引发了对其对促进人工智能更广泛目标的有用性的质疑。然而，在另一个领域 —— 认知神经科学，我们发现了相似的问题，从中我们汲取了有益的经验教训。基于这些发现，我们提出了一个通用的概念框架，并给出了在 AI 内部解释性研究中构建机制解释的具体方法论策略。借助这个概念框架，内部解释能力可以抵制批评，使自身在解释人工智能系统方面进入一个有成效的道路。

Jun, 2024

使用机制性可解释性推导和简明证明模型性能的形式保障，通过形式下界评估小型 Transformer 模型在 Max-of-k 任务上的准确率，并通过多种证明策略量化地展示了机制性理解与性能保障的紧密联系，最终确定了结构缺失噪声的叠加作为使用机制性可解释性生成简明证明的关键挑战。

Jun, 2024

基于神经网络的机制可解释性自动合成方法 MIPS，将学习到的算法自动转化为 Python 代码，解决了 62 个可以由 RNN 学习的算法任务中的 32 个问题，并对 GPT-4 的补充具有高度互补性，且不使用人工训练数据。

Feb, 2024

通过一种全面解释性的框架，我们提出打开大语言模型的黑匣子，既关注机制可解释性、组件功能和训练动态，又通过隐藏表示进行行为分析，以实现与人类价值相一致的伦理、诚实和可靠推理。

Feb, 2024

机器学习研究领域近年来取得巨大进展，深度学习模型在各种任务上表现出色。然而，这些模型往往在可解释性方面存在不足，因为它们作为不透明的 “黑盒子” 运行，使其决策背后的原理被遮蔽。为了解决这一挑战，我们的研究团队提出了一个创新框架，旨在权衡模型性能和可解释性之间的折衷。我们的方法以对高维数据的模块化操作为核心，可以进行端到端处理同时保持可解释性。通过融合多样化的解释技术和模块化数据处理，我们的框架可以揭示复杂模型的决策过程，而不损害其性能。我们广泛测试了我们的框架，并验证了其在实现计算效率和可解释性之间取得协调平衡方面的卓越成效。我们的方法通过在各个领域的部署中提供前所未有的对复杂模型内部工作原理的洞察，促进信任、透明度和问责制，满足当代机器学习应用的关键需求。

Jan, 2024

本文探讨如何利用概念和意义的构建方式来创建更易理解的机器学习模型，通过提出分类概念的新方法，即 “形式” 和 “功能”，阐明了意义的本质，并提出了提高模型可理解性的建议。

Jul, 2016

本研究从广阔的角度观察模型可解释性，超越了机器学习的范畴，涵盖了分布语义学和模糊逻辑等不同的人工智能领域。我们根据模型的性质和它们引入可解释性方面的方法进行分类，并分析每种方法如何影响最终用户。同时指出还需要解决的问题，以提供更以人为本的解释性解决方案。

Jul, 2019