Feb, 2024

代码补全的语言模型：实践评估

PDF
TL;DR基于 Transformer 的语言模型在自动代码补全方面显示出巨大的潜力，但是这些模型的评估很少使用真实数据。本研究提供了对三个公共代码语言模型在完成真实世界代码时的定量和定性评估。
transformer-based language modelsautomatic code completionreal-world codeperformance evaluationprogramming languages
发现论文，激发创造
  • 从真实世界数据集中学习自动完成

    通过在真实的代码完成实例上训练模型，我们研究了代码完成的预测性能，并发现这些模型比在源代码和工作版本快照上训练的模型分别提高了 12.8% 和 13.8% 的准确性，这与程序员实际自动完成使用率增加 6.2% 相对应，证明了真实的代码完成示例对于构建强大的模型非常重要。

    Nov, 2020

  • 基于 Transformer 的智能调用自动代码完成方法

    我们开发了一个机器学习模型，可以根据代码上下文和可用的遥测数据准确预测何时调用代码补全工具，该模型显著优于基准模型并在维持低延迟的同时集成了一些额外的遥测数据。

    May, 2024

  • 基于多任务学习的预训练语言模型 —— 代码补全

    本文介绍了一种基于多任务学习的预训练语言模型，采用 Transformer 神经网络架构，通过混合目标函数进行预训练，可以更好地理解和生成代码；在实验中证明了该模型相比现有的方法更为有效，尤其在完成标识符的任务上效果显著。

    Dec, 2020

  • 通过上下文数据丰富源代码，用于代码完成模型的实证研究

    本研究旨在探索是否通过使用上下文数据使代码易于理解会提高预训练代码语言模型完成代码补全任务的性能，并建议在训练、微调或选择此类模型时做出适当的设计选择，以改善自动补全的实用性和准确性。

    Apr, 2023

  • 大语言模型静态评估代码自动补全

    本文提出了一个基于抽象语法树的静态分析框架，旨在量化 Python 代码生成中的静态错误，并探讨了语言模型大小、上下文、温度对静态错误的影响。

    Jun, 2023

  • 探究语言模型在函数式编程语言中完成代码的性能：一个 Haskell 案例研究

    评估了两个语言模型（CodeGPT 和 UniXcoder）在函数式编程语言 Haskell 上的性能表现，发现在函数式编程语言上代码补全是可行的，但存在空预测、额外注释和不完整 / 错误预测的问题，因此需要更多高质量的 Haskell 数据集。

    Mar, 2024

  • 现代 IDE 中的代码完成的序列模型设计

    我们提出了一种结合静态分析和语言模型预测词汇分布的方法，以实现代码完成实时性、准确性及有效性，提高模型的适用性与可用性。

    Apr, 2020

  • 不要完成它！为高效可持续的神经代码完成系统防止无助益的代码完成

    本研究旨在解决考虑计算资源和计算成本的神经代码补全系统的低效问题。我们通过提出一种早期拒绝机制以及一个基于 Transformer 的评估器来避免代码补全中的低效提示，显著减少了计算成本并提高了补全的准确性。

    Sep, 2022

  • 全行代码自动补全：将 AI 引入桌面

    本研究描述了一种在 JetBrains' IntelliJ 平台上构建的多标记代码补全功能，称为 Full Line Code Completion。该功能仅建议语法正确的代码，并在用户设备上完全本地工作，为用户提供更丰富的体验，同时快速、紧凑且安全。作者分享了一些满足开发限制的有用技术，并描述了离线和在线评估流程以帮助做出更好的决策。

    May, 2024

  • BERT 模型在代码自动完成中的应用实证研究

    通过对深度学习（DL）模型的大规模实证研究，本文探索了 RoBERTa 模型在支持代码完成不同粒度级别的能力，并从多个角度评估了其预测的准确性与语义等效性。结果表明，BERT 模型是代码完成的可行解决方案，能够实现高达 58% 的完美预测。

    Mar, 2021