Oct, 2023

理解代码语义：Transformer 模型在摘要中的评估

PDF
TL;DR这篇论文通过使用先进的基于变压器的语言模型深入研究了代码摘要。通过实证研究，我们改变函数和变量名称来评估代码摘要的效果，以探索模型是否真正理解代码语义或仅依赖于文本线索。我们还引入了死代码和注释代码等对抗性实验，覆盖了 Python、Javascript 和 Java 三种编程语言，进一步审查模型的理解能力。最终，我们的研究旨在提供有关基于变压器的语言模型内部工作方式的有价值见解，增强其理解代码的能力，并为更高效的软件开发实践和维护工作流做出贡献。
发现论文，激发创造
  • 基于 Transformer 的源代码摘要方法

    本文探讨使用 Transformer 模型和自注意力机制来生成代码表示以进行源代码概述的任务，并提出其相对编码表现显著优于绝对编码，并通过实验验证其在处理长距离依赖性方面的有效性，实现了领先于现有技术的性能表现。

    May, 2020

  • 代码摘要的大型语言模型

    最近，使用深度学习进行软件工程方面的任务，包括代码生成和摘要等，出现了越来越多的活动。尤其是最新的编码大型语言模型在这些问题上表现良好。在本技术报告中，我们旨在回顾这些模型在代码解释 / 摘要方面的性能，同时调查它们基于自然语言描述的代码生成能力。

    May, 2024

  • 探究代码语言模型的学习内容

    本研究旨在探究预训练语言模型的能力，在超越表面频率和共现之外理解代码的意义，结果表明该模型能够学习代码的计算语义。

    Jun, 2023

  • 神经代码摘要评估

    本文采用系统性和深入分析方法，分析了 5 种最先进的神经代码自动摘要模型在 6 种广泛使用的 BLEU 变量、4 种预处理操作及其组合以及 3 种广泛使用的数据集上的评估结果，发现评估代码摘要模型的三个主要因素 ——BLEU 评估指标、代码预处理选择和数据集特征 —— 对模型的性能和排名有重要影响。文章提出了可行建议来评估代码自动摘要和在不同情景下选择最佳方法，并建立了一个共享代码自动摘要工具箱促进未来研究。

    Jul, 2021

  • SemCoder：使用全面语义训练代码语言模型

    该论文提出了一种新的策略，通过连接静态代码文本和动态执行状态，训练具有全面语义的 Code LLMs，从而填补 Code LLMs 在诸如调试和程序修复等复杂任务中对深层语义的依赖的差距。该方法通过收集 PyX，一个具有可执行样本、功能描述和执行跟踪的干净代码语料库，训练 Code LLMs 使用自然语言编写代码、表示和推理执行行为，从而开发出了仅有 67 亿参数的 SemCoder，该模型在代码生成和执行推理任务上与 GPT-3.5-turbo 表现相当。

    Jun, 2024

  • 代码注释翻译：模型效果与误差比较研究

    比较三种源代码摘要生成模型的定量和定性评估，揭示了基于度量的性能与模型预测错误之间关系的新洞见，并提供了摇号学习实验中可以用来推动未来研究工作的经验性错误分类学。

    Jun, 2021

  • 大型语言模型在代码摘要上的性能分析

    大语言模型在代码摘要任务方面，特别是代码生成和摘要具有很高的性能。本文发现，这些模型在每个示例上的性能往往取决于代码和对应参考自然语言描述之间的（子词）标记重叠量。此标记重叠主要出现在代码的函数名称中，并通过移除函数名称与移除代码结构来比较这些模型的相对性能。另外，使用 BLEU 和 BERTScore 等多个评估指标对此问题的洞见非常有限，因为这些指标高度相关。

    Apr, 2024

  • 一种生成程序子程序自然语言摘要的神经模型

    本研究提出了一种新的神经网络模型，它可以将源代码的单词和代码结构（AST）结合起来，从而能够生成准确的注释文档。与传统的基于模板的系统不同，该模型可以更好地学习代码结构，即使程序缺乏内部文档，也可以在演示中提供连贯的描述，并在 SE 文献和 NLP 文献中得到进一步的改进和应用验证。

    Feb, 2019

  • 机器和人类是否关注相似代码？在代码概括中探索大型语言模型的可解释性

    对于语言模型在代码摘要中的可解释性的调查结果表明，语言模型的关注点与人类程序员的注意力没有显著关联，且没有发现人类注意力与语言模型生成摘要的质量之间的影响。这一结果呼吁进一步研究可解释性的语言模型和软件工程任务中的训练机制以及其他模型关注度的适用性。

    Feb, 2024

  • 语言模型是否学习了代码的语义？漏洞检测案例研究

    通过解释性工具、关注分析和交互矩阵分析，我们发现预训练语言模型对于潜在脆弱语句的关联性表现更好，但其对于脆弱路径的关联性较弱甚至没有，基于我们的分析，我们开发了两种突出模型输入中含有错误语义的注释方法，实验结果显示与传统微调相比，在大多数情况下我们的注释方法能够提高模型性能，并使模型与潜在脆弱语句的关联性提高高达 232%，这表明提供模型有关错误语义的信息是有帮助的并且激发了后续针对学习更复杂基于路径的错误语义的研究。

    Nov, 2023