本文提出了一种用于高级数学推理的数据集，研究了神经序列到序列模型的推理能力。实验结果表明，该任务具有挑战性，但神经模型能够捕捉到非平凡的数学推理，提出的分层Transformer的性能也好于基准Transformer。
Jun, 2020
本文研究了神经网络在程序编写和形式验证方面的行为，重点关注结构递归，并评估了变压器模型在近似这些函数中的能力及其局限性，并通过重构算法正确预测了近似函数的失败案例的91％。
May, 2023
本文介绍的一种采用编程语言设计的可调试Transformer程序可以替代机器学习传统编写的Transformers来解决一系列算法问题和NLP任务。
Jun, 2023
研究表明，通过允许transformer在回答问题之前生成和依赖于中间令牌的序列，可以提高其推理能力，增加中间生成的数量将显著扩展transformer解码器的计算能力，进而使其能够识别所有正则语言，保持上下文敏感语言，并解决多项式时间可解问题。
Oct, 2023
基于神经网络的机制可解释性自动合成方法MIPS，将学习到的算法自动转化为Python代码，解决了62个可以由RNN学习的算法任务中的32个问题，并对GPT-4的补充具有高度互补性，且不使用人工训练数据。
Feb, 2024
理解人工智能系统的内部工作对于确保价值对齐和安全至关重要。本综述通过逆向工程神经网络学习的计算机机制和表示，将其转化为人类可理解的算法和概念，从而提供一个细致的，因果性的理解。我们建立了基本概念，如神经激活中编码的知识特征以及有关其表示和计算的假设。我们调查了因果分解模型行为的方法论，并评估了机制解释对人工智能安全性的相关性。我们研究了可扩展性、自动化和全面解释方面的挑战。我们主张明确概念、确立标准，并扩展处理复杂模型和行为以及拓展到视觉和强化学习等领域的技术。机制解释有助于防止人工智能系统变得更强大和不可理解时的灾难性结果。
Apr, 2024
研究表明，将二进制和三进制变压器网络应用于大型语言模型能够显著减少内存并提高推理速度，并且研究结果显示，这些网络在学习模块化加法时与全精度变压器网络学习的算法相似，因此无法作为语言模型中更可解释的替代方案。
May, 2024
研究了编码器-只有变压器 (EOT) 的形式化推理的挑战和可能性，发现 EOT 的满足性问题 (SAT) 是不可判定的，但限定了注意力能力的量化 EOT 可以在 NEXPTIME 内解决 SAT 问题。
使用机制性可解释性推导和简明证明模型性能的形式保障，通过形式下界评估小型Transformer模型在Max-of-k任务上的准确率，并通过多种证明策略量化地展示了机制性理解与性能保障的紧密联系，最终确定了结构缺失噪声的叠加作为使用机制性可解释性生成简明证明的关键挑战。
Jun, 2024
机械解释性是一种新兴的解释性子领域，通过反向工程其内部计算来理解神经网络模型。本文为了填补这一领域的空白，提出了一份全面的调查报告，概述了机械解释性的研究对象、调查技术、评估结果、重要发现和应用，以及为新手提供的指南。此外，还指出了该领域存在的当前差距，并讨论了潜在的未来发展方向。
Jul, 2024