Apr, 2023

通过上下文数据丰富源代码，用于代码完成模型的实证研究

PDF
TL;DR本研究旨在探索是否通过使用上下文数据使代码易于理解会提高预训练代码语言模型完成代码补全任务的性能，并建议在训练、微调或选择此类模型时做出适当的设计选择，以改善自动补全的实用性和准确性。
pre-trained modelscode completioncontextual datatype annotationscomments
发现论文，激发创造
  • 基于多任务学习的预训练语言模型 —— 代码补全

    本文介绍了一种基于多任务学习的预训练语言模型，采用 Transformer 神经网络架构，通过混合目标函数进行预训练，可以更好地理解和生成代码；在实验中证明了该模型相比现有的方法更为有效，尤其在完成标识符的任务上效果显著。

    Dec, 2020

  • 基于 Transformer 的智能调用自动代码完成方法

    我们开发了一个机器学习模型，可以根据代码上下文和可用的遥测数据准确预测何时调用代码补全工具，该模型显著优于基准模型并在维持低延迟的同时集成了一些额外的遥测数据。

    May, 2024

  • 代码补全的语言模型：实践评估

    基于 Transformer 的语言模型在自动代码补全方面显示出巨大的潜力，但是这些模型的评估很少使用真实数据。本研究提供了对三个公共代码语言模型在完成真实世界代码时的定量和定性评估。

    Feb, 2024

  • 针对全行代码补全的上下文构建

    我们描述了我们在 Transformer 模型的特征实现中，对上下文组成的方法，同时还分享了改善该功能的下一步计划，并强调了该领域中的几个研究方面的重要性。

    Feb, 2024

  • 超级提示：利用模型无关的语境数据减少视觉常识任务中的数据注释需求

    本文研究如何使用 Prompt-based Fine-tuning 技术提高语言模型和多模式因果变换器模型的效果，结果表明使用只有 35%-40% 的训练数据集便能取得可比较的效果，从而达到显著的时间和费用节约。

    Apr, 2022

  • 更好的上下文使代码语言模型表现更佳：一个基于函数调用参数补全的案例研究

    本研究利用程序分析器从 Python 包中提取代码信息，探讨了使用相应信息来优化代码补全模型的方法，并发现这可以显著提高函数调用参数的补全效果。

    Jun, 2023

  • 从真实世界数据集中学习自动完成

    通过在真实的代码完成实例上训练模型，我们研究了代码完成的预测性能，并发现这些模型比在源代码和工作版本快照上训练的模型分别提高了 12.8% 和 13.8% 的准确性，这与程序员实际自动完成使用率增加 6.2% 相对应，证明了真实的代码完成示例对于构建强大的模型非常重要。

    Nov, 2020

  • ReACC：一种检索增强型代码补全框架

    本文提出了一种利用外部代码片段参考的检索增强代码补全框架，使用统计语言模型来训练，实现了针对 Python 和 Java 编程语言的最新表现状态的代码补全任务。

    Mar, 2022

  • 利用草图学习代码自动补全

    本文介绍了一种基于 Transformer 的模型 Grammformer，用于根据编程语言语法生成具有 “空洞” 的代码完成。在 C# 和 Python 的代码完成方面通过 ROUGE 和新的度量标准 RegexAcc 的度量检验结果，结果显示 Grammformer 比传统生成模型生成更加准确的代码完成，且生成的草图较传统技术生成的草图更长。

    Jun, 2021

  • 不要完成它！为高效可持续的神经代码完成系统防止无助益的代码完成

    本研究旨在解决考虑计算资源和计算成本的神经代码补全系统的低效问题。我们通过提出一种早期拒绝机制以及一个基于 Transformer 的评估器来避免代码补全中的低效提示，显著减少了计算成本并提高了补全的准确性。

    Sep, 2022