本文概述了自然语言处理与程序语言之间翻译意图的研究进展，重点介绍了自然语言语义分析和程序逻辑综合的技术、神经符号方法、架构、监督方法以及代码生成的框架，并分析了该领域存在的一些尚未解决的问题。

Apr, 2021

我们提出了一种基于句法树的语法引导生成模式，通过解码过程的两个部分:（1）对给定源句子中词汇化的句法上下文中的每个成分预测填充文本；（2）映射和扩展每个成分以构建下一级语法上下文以生成自然语言文本，并在重述生成和机器翻译上进行了实验。与自回归基线相比，该方法在有效性和可解释性方面更加出色。

Jun, 2023

本研究提出了一种新的基于图的生成模型，可用于产生源代码中的语义有意义的表达式，并在实验中胜过多种强基线模型。

May, 2018

本研究提出了一种新的神经网络模型，它可以将源代码的单词和代码结构（AST）结合起来，从而能够生成准确的注释文档。与传统的基于模板的系统不同，该模型可以更好地学习代码结构，即使程序缺乏内部文档，也可以在演示中提供连贯的描述，并在 SE 文献和 NLP 文献中得到进一步的改进和应用验证。

Feb, 2019

本研究提出了一种基于序列到序列深度学习模型的自然语言到编程语言的建议系统，可以根据自然语言的意图建议源代码片段，并扩展源代码的自动补全功能。该系统通过上下文感知的神经模型直接生成源代码标记，而不是从源代码生成解析树 / 抽象意义表示再转换成源代码。此外，提出的架构还使用预训练策略和数据增强技术来提高性能，并且在 BLEU-4 指标上超过了神经语义解析器 TranX 的表现约 10.82%。该系统还可以用于生成源代码的自然语言文档，并提出了基于 RoBERTa 的掩码语言模型来扩展该系统用于代码补全。

Feb, 2024

本文提出了一种新型的神经语言模型 Parsing-Reading-Predict Networks（PRPN），利用其特定的神经网络结构能够自动识别未标注的句子的句法结构，并利用它来学习更好的语言模型。实验证明，该模型能够发现底层的句法结构，并在单词 / 字符水平的语言模型任务上取得了最先进水平。

Nov, 2017

通过利用较大的单语语料库，本研究调查了一个基于通用 transformer 的 seq2seq 模型是否可以在最小限度的代码生成特定归纳偏差下实现与其他语言模型相当的性能，结果显示其在 Django 上实现了 81.03％的完全匹配准确性和 32.57 的 CoNaLa BLEU 分数，均达到了我们所知道的最好水平，这为在实践中构建准确的语义解析器提供了可能更容易的途径。

Jan, 2021

我们对神经语言模型的句法知识进行了系统评估，发现模型架构的不同对句法泛化性能产生了显著影响，而不同数据集大小的影响相对较低。

May, 2020

本研究开发了多种神经网络模型，利用合成数据测试模型的编辑模式学习能力，从原型生成下一步的编辑行为。文章提出了一种新颖的 “注意力” 和 “指针” 网络的组合模型能够最大化地提高性能和可伸缩性，应用结果初步证明了开发可以习得预测未来编辑的工具的可行性。

Apr, 2019

本文介绍了一种神经语义解析器，可以将自然语言表达式映射到逻辑形式，以在特定任务环境中执行，如知识库或数据库，生成响应。解析器使用基于转换的方法生成具有树形结构的逻辑形式，结合由逻辑语言定义的通用树生成算法和领域一般性操作。解析器的生成过程由结构化循环神经网络建模，提供句子上下文和生成历史的丰富编码，以进行预测。为了解决自然语言和逻辑形式标记之间的不匹配，探讨了各种注意机制。最后，我们考虑了神经语义解析器的不同训练设置，包括全监督训练、弱监督训练和远程监督训练。对各种数据集的实验表明了我们解析器的有效性。

Nov, 2017