本文提出了使用程序作为模型无关解释的方法，通过基于模拟退火的原型程序归纳方法，对黑匣子分类器进行本地行为的近似，生成的解释对于多个分类器具有直观性和准确性。

Nov, 2016

本文介绍一种用于程序自动合成的方法，通过结合模式识别和显式推理来解决这些复杂的编程问题，同时使用新颖的中间表示和训练算法，使程序合成系统能够自学，从而在简单的英文描述编程问题数据集上取得了最先进的性能表现。

Feb, 2019

语言模型在代码生成方面越来越熟练，但仍经常生成错误的程序。许多错误程序明显有问题，但其他程序更加微妙，通过一些较弱的正确性检查（如编译）可以通过。本研究侧重于这些伪造样本：从语言模型中抽样出的程序，1) 具有足够高的 log 概率以在中等温度下生成，2) 通过弱正确性检查。通过研究我们发现，大多数模型对伪造样本的理解非常浅显，存在三种明显的失效模式。第一，模型错误地将它们分类为正确的。第二，模型在推理伪造样本的执行行为方面表现较差，通常会预测其执行结果就像它们是正确的一样。第三，在要求模型修复伪造样本时，模型成功修复伪造样本的可能性通常甚至低于从头开始抽样出一个正确程序的可能性。伪造样本也具有非常意外的特性：首先，模型更容易解决的问题的伪造程序不一定更容易被检测，只是稍微更容易执行和修复。其次，对于给定模型而言，伪造样本对模型本身和其他模型都具有相同的困惑。最后，强弱模型都能够生成对所有模型都构成挑战的伪造样本。根据我们的研究结果，我们建议在依赖模型理解其自身样本时要谨慎小心，特别是当没有引入外部反馈时。

Feb, 2024

本文基于大型语言模型，提出了一种改进程序综合器可靠性和总体准确性的方法，通过语言模型自然语言描述求解程序问题，并且学习分析程序和断言的一致性，以判断哪个程序最有可能是正确的，从而通过提供可信的解决方案来改善可靠性

Sep, 2022

本文研究使用程序语言这一中间测试平台，探究语言模型是否能够理解语义，并发现 Transform 模型可通过样例抽象出当前和未来程序状态，使用的探测器准确率与执行输入所生成的程序一致。文中还提出了一种语义干预的实验方法，并展示了模型能够生成更短、更正确的程序。

May, 2023

本论文结合自我调试技术和大型语言模型，提出了一种代码生成方法，不依靠反馈信息和测试用例，实现了语言模型的自我纠错和错误说明能力，从而在文本到 SQL 生成、C++ 到 Python 转换等方面，取得了更优秀的性能表现。

Apr, 2023

本研究综述了一种基于解释的人类调试（EBHD）方法，旨在通过从不同维度评估调试环境、工作流程和实验设置等考虑因素，帮助人类提供反馈和调试 NLP 模型的问题。

Apr, 2021

本文提出了一种基于 Pearl's 理论的原因分析方法 Psi，能够通过编码 PS 的计算来确定数据误差的根本原因，并使用概率编程和机器学习算法等方法提高计算效率和准确性。

Mar, 2016

研究发现现代语言模型通过少样本学习可以模仿复杂模式，但这种模仿可能导致不准确或有害内容的复制。通过分析模型的内部表示，发现了两个相关现象：过度思考和错误归纳头。过度思考现象在解码中间层的预测时出现，给出正确和错误的少样本演示。在早期层次，两个演示引起了类似的模型行为，但在某个 “临界层” 之后，给出错误演示时的准确性逐渐降低。错误归纳头可能是过度思考的机械原因：它们是位于较晚层次的头部，关注并复制先前演示中的错误信息，去除这些头部可以减少过度思考。除了科学理解，研究结果表明，研究模型计算中间过程可能是理解和预防有害模型行为的一个有前景的途径。

Jul, 2023

研究了后续模型解释对于诊断模型错误的有效性，通过将错误按来源分类为数据、模型和测试时污染性错误，评估了几种解释方法对查找虚假相关性、误标记训练实例、诊断非初始化模型、检测测试时污染输入等错误的能力，发现这些方法能够发现虚假背景错误，但不能明确识别误标记的训练实例，同时某些方法对深度网络高层参数缺乏鲁棒性，不能有效诊断模型污染性错误。人类主体研究表明，人们未能使用归因来识别有缺陷的模型，而是主要依赖于模型预测。这些结果为研究人员和从业者在使用解释作为模型调试工具时提供了指导。

Nov, 2020