本文介绍了基于概率编程中的最新进展，以广阔的概率建模和推断为视角，探讨了概率编程语言如何自动匹配模型和推断方法，强调了模型的结构和形式对这种匹配的至关重要性，并通过 Birch 进行实例演示。

Oct, 2018

该研究论文综述了自然语言处理技术的利用，重点关注使用大型代码训练的基于 Transformer 的大型语言模型在 AI 辅助编程任务领域中的应用。这些模型在包括代码生成、代码补全、代码翻译、代码概述、缺陷检测和克隆检测等 AI 辅助编程应用中扮演着关键角色，而其中值得注意的例子包括由 OpenAI 的 Codex 和 DeepMind AlphaCode 提供支持的 GitHub Copilot。本文概述了主要的大型语言模型及其在与 AI 辅助编程相关的下游任务中的应用，并探讨了在这些应用中结合 NLP 技术和软件自然性面临的挑战和机遇，同时讨论了将 AI 辅助编程能力拓展到苹果的 Xcode 移动软件开发环境中的问题和机会，以使开发人员能够获得更先进的编码辅助，并使软件开发流程更加高效。

Jul, 2023

本文综述了自然语言处理在编程方面的研究，并从推理模型到最新竞争级模型全面调查了现有的相关工作，具有技术类别的完整性，方便查找和比较未来的工作。

Dec, 2022

本书介绍了概率编程的基础和技术，主要包括概率编程语言的设计和构建、基础推理算法和高阶概率编程语言、概率编程与可微分编程的交叉应用，尤其是深度概率编程系统的设计与语言特性对其的影响。

Sep, 2018

本文探讨了利用预训练的基于 transformer 的语言模型来对代码进行分析任务的能力，通过对 transformer-based language model 进行 AST 标记任务，得出结论表明其在此任务上的表现较好，并在软件漏洞识别任务中与依赖于编译器的基于图形的方法相比，取得了可比拟的成果。

Jun, 2020

本文提出了一种新的预训练目标 —— 源代码的自然化，在大规模的自然代码库中通过引入非自然代码形式的六类语义保持变换，来训练生成等效但更加自然的代码，进一步提升了自然代码的统计学习能力，实现了三种软件工程任务的生成，翻译和细化，达到了 CodeT5 的水平。

Jun, 2022

最近，使用深度学习进行软件工程方面的任务，包括代码生成和摘要等，出现了越来越多的活动。尤其是最新的编码大型语言模型在这些问题上表现良好。在本技术报告中，我们旨在回顾这些模型在代码解释 / 摘要方面的性能，同时调查它们基于自然语言描述的代码生成能力。

May, 2024

本论文综述了过去 35 年中在自然语言处理 (NLP) 中应用的主要深度学习方法和源代码的人工智能 (AI) 应用，包括代码智能 (CI) 和编程语言处理 (PLP)，以及其在软件工程和教育中的对话助手的应用。还提出了在 AI 与对话助手和 CI 的交叉点上进行研究的机会，并提供了未来的研究方向。

Feb, 2022

通过对代码属性进行严格的长度、词汇多样性和自然度的分析，我们揭示了机器生成代码和人工编写代码各自固有的独特特征，特别注意到代码的结构分割是识别其来源的关键因素。基于我们的发现，我们提出了一种名为 DetectCodeGPT 的新型机器生成代码检测方法，通过插入空格和换行符来扰乱代码语料库，确保其有效性和效率。实验结果表明，我们的方法在检测机器生成代码方面明显优于现有技术。

Jan, 2024

本文旨在总结如何应用机器学习技术进行源代码分析的最新研究动态，并回顾 12 类软件工程任务及相应的机器学习技术、工具和数据集。在文献调研的基础上，文章总结了研究观察和发现，并总结了每个任务的通用步骤、机器学习技术和可用数据集和工具，并讨论了这一领域面临的各种挑战。

Oct, 2021