提出了内部解释能力作为一个新兴领域，旨在揭示人工智能系统的内部机制，尽管如何发展这些机制理论仍存在争议。然而，最近的批评引发了对其对促进人工智能更广泛目标的有用性的质疑。然而，在另一个领域 —— 认知神经科学，我们发现了相似的问题，从中我们汲取了有益的经验教训。基于这些发现，我们提出了一个通用的概念框架，并给出了在 AI 内部解释性研究中构建机制解释的具体方法论策略。借助这个概念框架，内部解释能力可以抵制批评，使自身在解释人工智能系统方面进入一个有成效的道路。

Jun, 2024

本文通过探究 GPT-2 small 在间接宾语识别等自然语言任务中的表现来解释仿真学习模型的行为，其中提及了 26 种注意力头，本研究是目前规模最大的一次试图从机器学习模型的内部组件入手逆向工程自然行为。我们以及利用了因果干预等解释性方法对我们的解释进行了可靠性评估，工作证明了对大型机器学习模型的机械理解是可行的。

Nov, 2022

基于神经网络的机制可解释性自动合成方法 MIPS，将学习到的算法自动转化为 Python 代码，解决了 62 个可以由 RNN 学习的算法任务中的 32 个问题，并对 GPT-4 的补充具有高度互补性，且不使用人工训练数据。

Feb, 2024

人类如何信任人工智能及如何评估其可信度及可靠性这是应用机器学习中最为基础的问题。基于统计学习理论和社会视角，我们提出一种将人工智能作为工具的框架，即从区别人机信任与人机人信任的角度出发，运用行为证书来预测模型的行为并澄清了解释能力对于信任的贡献以及模型行为对于信任的重要性。

Feb, 2022

本文综述了神经网络的解释工具和算法，提出了一种新的分类方法，介绍了解释结果的评估方法和信任度算法的应用，讨论了深度模型解释与鲁棒性和借鉴解释的联系，并介绍了一些开源库。

Mar, 2021

通过文献综述，我们对特征和行为进行了正式化，并强调了它们的重要性和评估，以及在研究表示的机制性解释性方面进行了基本的探索。通过讨论和探索性结果，我们证明了研究表示是一个重要且未被充分研究的领域，当前的机制性解释性方法不足以理解表示，因此推动研究界努力工作于新的研究框架来研究表示。

Feb, 2024

理解人工智能系统的内部工作对于确保价值对齐和安全至关重要。本综述通过逆向工程神经网络学习的计算机机制和表示，将其转化为人类可理解的算法和概念，从而提供一个细致的，因果性的理解。我们建立了基本概念，如神经激活中编码的知识特征以及有关其表示和计算的假设。我们调查了因果分解模型行为的方法论，并评估了机制解释对人工智能安全性的相关性。我们研究了可扩展性、自动化和全面解释方面的挑战。我们主张明确概念、确立标准，并扩展处理复杂模型和行为以及拓展到视觉和强化学习等领域的技术。机制解释有助于防止人工智能系统变得更强大和不可理解时的灾难性结果。

Apr, 2024

本研究从广阔的角度观察模型可解释性，超越了机器学习的范畴，涵盖了分布语义学和模糊逻辑等不同的人工智能领域。我们根据模型的性质和它们引入可解释性方面的方法进行分类，并分析每种方法如何影响最终用户。同时指出还需要解决的问题，以提供更以人为本的解释性解决方案。

Jul, 2019

本研究揭示了大型语言模型 (LLMs) 在某些情况下表现出具有人类直觉的行为，包括许多认知错误，并且通过使用 GPT-3.5 等最新技术的模型及进行人类直觉决策的试探研究证明了这一点，并探究了几种方法来测试 GPT-3.5 的倾向于类似直觉的决策及其机器行为等方面，以揭示出这些模型在认知科学方面的新兴特征和调整预期的潜力。

Dec, 2022

本文旨在探讨人工智能在关键任务中的应用，提出了增强人工智能可解释性的重要性，并总结了当前构建可解释模型及说明方法的研究进展和关键方向。

Mar, 2018