Sep, 2023

代码表示预训练与程序执行的补充

PDF
TL;DR本论文介绍了一种名为 FuzzPretrain 的方法，利用程序的测试用例中的动态信息，将其嵌入代码的特征表示中，以改善代码搜索的效果，并提供了学习具有区分性的代码表示的实验证据。
large language modelscode intelligencesyntactic representationsfuzzpretrainprogram executions
发现论文，激发创造
  • 利用（模糊测试）测试用例理解程序

    通过模糊测试来提高程序理解和代码表示学习的性能，并将此关系纳入学习中，以实现程序的深层语义理解。该方法在代码克隆检测和代码分类等两个程序理解任务上表现出色

    May, 2023

  • 结构化代码表示实现代码语言模型的高效数据自适应

    通过预训练和微调编程结构，改进了面向代码任务的当前语言模型的方法，并且在使用有限训练样本时，结合程序结构与纯文本表示方式展现出显著的改进效果。

    Jan, 2024

  • 规模化的代码表示学习

    通过大量的代码数据进行编码表示学习，使用两阶段的预训练方案以及对比学习的方式增强表示，在各种下游任务上持续显著地超过现有的模型，详细讨论了源代码的自定义和有效的令牌级去噪方案、硬负样本与硬正样本的重要性、提出的双模态对比学习如何提升跨语义搜索性能以及预训练方案对模型规模决定下游任务性能的影响。

    Feb, 2024

  • 代码语法理解语言模型基准测试

    这篇论文介绍了作者对现有预训练编程语言模型在理解代码结构方面的限制进行了全面的基准测试，并引入了一个大规模的数据集 CodeSyntax 来评估这些模型的性能，并揭示了自然语言和编程语言在理解语法结构方面的差异和重要性。

    Oct, 2022

  • 探究代码语言模型的学习内容

    本研究旨在探究预训练语言模型的能力，在超越表面频率和共现之外理解代码的意义，结果表明该模型能够学习代码的计算语义。

    Jun, 2023

  • 用于代码的大型语言模型的程序测试能力

    利用对最近的大型语言模型进行了代码测试的详尽分析，本研究展示了这些模型的一系列有趣性质，并展示了如何改进大型语言模型的程序测试能力，通过利用生成的测试用例来提高合成程序的质量，相较于 GPT-3.5-turbo 和最新的最先进技术，我们的方法在 HumanEval + 上的代码通过率分别提高了 11.77% 和 4.22%。

    Oct, 2023

  • SemCoder：使用全面语义训练代码语言模型

    该论文提出了一种新的策略，通过连接静态代码文本和动态执行状态，训练具有全面语义的 Code LLMs，从而填补 Code LLMs 在诸如调试和程序修复等复杂任务中对深层语义的依赖的差距。该方法通过收集 PyX，一个具有可执行样本、功能描述和执行跟踪的干净代码语料库，训练 Code LLMs 使用自然语言编写代码、表示和推理执行行为，从而开发出了仅有 67 亿参数的 SemCoder，该模型在代码生成和执行推理任务上与 GPT-3.5-turbo 表现相当。

    Jun, 2024

  • 神经网络如何理解程序？

    本文探讨了基于 NLP 预训练技术的代码表示学习的进展，提出了一种新的程序语义学习模式，即模型应该学习由与操作语义基本操作对齐的表示和不可或缺的环境转换信息构成的信息。为了验证我们的建议，我们提出了一个名为 OSCAR 的分层 Transformer 预训练模型，通过从 IR 和静态分析导出的编码表示中学习来表示基本操作和环境转换信息，证明了 OSCAR 在许多实际软件工程任务中理解程序语义的杰出能力。

    May, 2021

  • 代码的通用表示方法

    本研究提出了一种基于图形的代码表示技术，并通过有效的预训练策略生成通用代码表示。通过在真实数据集上的测试，表明该方法在方法名称预测和代码图链接预测方面具有最先进的结果。

    Mar, 2021

  • 使用预训练语言模型进行代码执行

    本文介绍了一个使用变异数据增强技术创建 Python 数据集并基于 Transformer 的 CodeExecutor 模型来强化其语义理解的方法，该模型主要用于代码执行任务。作者评估了 CodeExecutor 的性能和局限，并展示了它在零样本代码到代码搜索和文本到代码生成等方面的潜在好处。

    May, 2023