ACLMay, 2023

使用预训练语言模型进行代码执行

PDF
TL;DR本文介绍了一个使用变异数据增强技术创建 Python 数据集并基于 Transformer 的 CodeExecutor 模型来强化其语义理解的方法，该模型主要用于代码执行任务。作者评估了 CodeExecutor 的性能和局限，并展示了它在零样本代码到代码搜索和文本到代码生成等方面的潜在好处。
发现论文，激发创造
  • 探究代码语言模型的学习内容

    本研究旨在探究预训练语言模型的能力，在超越表面频率和共现之外理解代码的意义，结果表明该模型能够学习代码的计算语义。

    Jun, 2023

  • 预训练代码模型了解哪些代码知识？

    本研究探索预训练模型在软件工程任务中的应用，通过四项探测任务评估模型对代码特征信息的理解程度，发现不同预训练模型表现有差异，其中 BERT 表现出乎意料的优异，但还需要深入研究。

    Aug, 2021

  • 代码语法理解语言模型基准测试

    这篇论文介绍了作者对现有预训练编程语言模型在理解代码结构方面的限制进行了全面的基准测试，并引入了一个大规模的数据集 CodeSyntax 来评估这些模型的性能，并揭示了自然语言和编程语言在理解语法结构方面的差异和重要性。

    Oct, 2022

  • 代码预训练提升语言模型的实体跟踪能力

    最近的研究提供了间接证据，表明在代码上预训练语言模型可以提高模型在自然语言中跟踪语篇实体状态变化的能力。本研究通过比较基模型和在其基础上用额外代码数据进行训练的模型在实体跟踪性能上的差异，系统地测试了这一论点。此外，我们还扩展了分析，考察了数学训练和对齐调优这两种高度结构化的数据类型对模型可用性的影响。我们发现，额外训练大量代码的模型明显优于基模型，而在不同的模型类型中，额外的数学训练和对齐调优并没有一致的好处。

    May, 2024

  • SemCoder：使用全面语义训练代码语言模型

    该论文提出了一种新的策略，通过连接静态代码文本和动态执行状态，训练具有全面语义的 Code LLMs，从而填补 Code LLMs 在诸如调试和程序修复等复杂任务中对深层语义的依赖的差距。该方法通过收集 PyX，一个具有可执行样本、功能描述和执行跟踪的干净代码语料库，训练 Code LLMs 使用自然语言编写代码、表示和推理执行行为，从而开发出了仅有 67 亿参数的 SemCoder，该模型在代码生成和执行推理任务上与 GPT-3.5-turbo 表现相当。

    Jun, 2024

  • 预训练语言模型对源代码的结构分析

    此篇论文分析了预训练语言模型，尤其是 CodeBERT 和 GraphCodeBERT 对源代码的结构性质，通过对注意力分析，词嵌入的探索和语法树归纳等方面进行全面分析，揭示出了一些深入的发现，为今后的相关研究提供了启示。

    Feb, 2022

  • 代码表示预训练与程序执行的补充

    本论文介绍了一种名为 FuzzPretrain 的方法，利用程序的测试用例中的动态信息，将其嵌入代码的特征表示中，以改善代码搜索的效果，并提供了学习具有区分性的代码表示的实验证据。

    Sep, 2023

  • 理解代码语义：Transformer 模型在摘要中的评估

    这篇论文通过使用先进的基于变压器的语言模型深入研究了代码摘要。通过实证研究，我们改变函数和变量名称来评估代码摘要的效果，以探索模型是否真正理解代码语义或仅依赖于文本线索。我们还引入了死代码和注释代码等对抗性实验，覆盖了 Python、Javascript 和 Java 三种编程语言，进一步审查模型的理解能力。最终，我们的研究旨在提供有关基于变压器的语言模型内部工作方式的有价值见解，增强其理解代码的能力，并为更高效的软件开发实践和维护工作流做出贡献。

    Oct, 2023

  • 自然语言与代码交互式的转换与执行

    本文介绍了基于执行结果的最小贝叶斯风险解码（MBR-EXEC）用于程序选择，并表明它改善了预训练代码模型在自然语言到代码任务上的少样本性能。

    Apr, 2022

  • 探测源代码的预训练模型

    本研究探讨了预训练模型在代码处理中的广泛应用及其对识别语法结构、正确性、标识符、数据流和命名空间等方面的影响，并测试了使用给定目标进行预训练、模型大小变化以及微调的影响。

    Feb, 2022