本文探讨了基于 NLP 预训练技术的代码表示学习的进展，提出了一种新的程序语义学习模式，即模型应该学习由与操作语义基本操作对齐的表示和不可或缺的环境转换信息构成的信息。为了验证我们的建议，我们提出了一个名为 OSCAR 的分层 Transformer 预训练模型，通过从 IR 和静态分析导出的编码表示中学习来表示基本操作和环境转换信息，证明了 OSCAR 在许多实际软件工程任务中理解程序语义的杰出能力。

May, 2021

本文提出了一种通过基于深度学习层的可执行语义来自动修复神经网络错误的方法，该方法专注于四种实践中常见的错误类型，并通过实验验证了该方法的有效性和高效性。

Jun, 2023

本文介绍了一种新的框架，将逻辑语句编译成计算图，用于指导神经网络的训练和预测，在机器理解、自然语言推理、文本分块等任务表现出较高性能，特别是在低数据情况下表现出色。

Jun, 2019

本研究提出了一种新颖的神经程序模型（Neural Programmer），该模型扩展了具有少量基本算术和逻辑运算的不可区分神经网络，此模型可以在多个步骤中调用这些扩展操作，因此产生的组成程序比内置操作更复杂。该模型采用相对较弱的监督信号进行训练，不需要昂贵的编写正确程序的注释，经过训练在很复杂的综合表理解数据集中取得了几乎完美的准确度。

Nov, 2015

下一代 AI 系统需要强有力的安全保证。本报告研究了神经网络和相关内存安全性质的软件实现，包括空指针引用、越界访问、double-free 和内存泄漏。我们旨在检测这些漏洞，并借助大型语言模型自动修复它们。为此，我们首先通过程序突变的自动化过程，将现有的神经网络代码数据集 NeuroCodeBench 的规模扩大到约 81k 个程序。然后，我们使用最先进的软件验证器 ESBMC 验证突变的神经网络实现的内存安全性。每当 ESBMC 发现漏洞时，我们会调用一个大型语言模型来修复源代码。在最新的任务中，我们比较了各种最先进的提示工程技术，以及重复调用大型语言模型的迭代方法的性能。

May, 2024

本研究提出了一种新的技术框架 ——NeSy AI，结合 GFlowNet 和优化问题解决方案，来学习生成 6G 系统数据，具有更高的语义可靠性，并通过验证实现了比传统通信系统更高效的、具有更好的数据推理能力的数据传输方式。

May, 2022

神经符号一体化试图将连接主义子符号方法与逻辑符号方法相结合以实现人工智能。本文首先定义了（布尔）神经网络的答案集语义，然后从第一原则介绍了一类神经逻辑程序，并证明了网络和程序的等价性。

Jun, 2024

本文提出了一个使用机器学习技术的证明搜索系统 Proverbot9001，它能够自动化之前需要手动完成的证明，有效地产生了 27.5% 的证明陈述，在 Coq 中产生了 4 倍的提高。

Jul, 2019

为了提高推理效率和减少计算成本，我们提出了人工智能导向的语法的概念，通过改进现有编程语言的语法和规则，使得 AI 模型更适合理解和使用代码。我们通过创建名为 Simple Python（SimPy）的人工智能导向的 Python 语法来验证这一概念的可行性，并且与原始 Python 相比，SimPy 在代码标记使用上减少了 13.5% 和 10.4% 的数量，并且在性能方面取得了相当甚至更好的效果。

Apr, 2024

本研究从广阔的角度观察模型可解释性，超越了机器学习的范畴，涵盖了分布语义学和模糊逻辑等不同的人工智能领域。我们根据模型的性质和它们引入可解释性方面的方法进行分类，并分析每种方法如何影响最终用户。同时指出还需要解决的问题，以提供更以人为本的解释性解决方案。

Jul, 2019