Sep, 2019

自我关注神经架构，利用多任务学习实现代码自动完成

PDF
TL;DR本文提出了自注意力神经体系结构，采用多任务学习方式，以解决代码补全中的结构性保留和长期依赖问题，并与最先进的方法进行了比较。
code completionself-attentional neural architecturemulti-task learninghierarchical structural informationlong-term dependency
发现论文，激发创造
  • 基于多任务学习的预训练语言模型 —— 代码补全

    本文介绍了一种基于多任务学习的预训练语言模型，采用 Transformer 神经网络架构，通过混合目标函数进行预训练，可以更好地理解和生成代码；在实验中证明了该模型相比现有的方法更为有效，尤其在完成标识符的任务上效果显著。

    Dec, 2020

  • 快速且高效的神经网络代码补全

    本研究旨在解决深度学习模型内存消耗大的问题，通过模块化的神经框架探索多种技术，并设计一种新颖的基于静态分析和细粒度令牌编码相结合的神经重排序模型，其消耗内存仅为 6MB，计算单个补全所需仅 8ms，最高精度达到 90%。

    Apr, 2020

  • 神经注意力和指针网络的代码完成

    使用神经语言模型并开发定制化的注意力机制以加快现代软件开发中的智能代码补全，同时提出了一个指针混合网络以更好地预测过程中的无法识别词汇。

    Nov, 2017

  • 源代码合成与完成的神经模型

    本研究提出了一种基于序列到序列深度学习模型的自然语言到编程语言的建议系统，可以根据自然语言的意图建议源代码片段，并扩展源代码的自动补全功能。该系统通过上下文感知的神经模型直接生成源代码标记，而不是从源代码生成解析树 / 抽象意义表示再转换成源代码。此外，提出的架构还使用预训练策略和数据增强技术来提高性能，并且在 BLEU-4 指标上超过了神经语义解析器 TranX 的表现约 10.82%。该系统还可以用于生成源代码的自然语言文档，并提出了基于 RoBERTa 的掩码语言模型来扩展该系统用于代码补全。

    Feb, 2024

  • 自注意力能否强大到学会代码语法和语义？

    本文研究了 CodeBERT 模型基于 AST 和静态分析，通过自我关注机制和 Masked Language Modelling（MLM）在令牌级别上学习代码语法和语义的能力，展示了其中自我关注机制在了解代码语法和语义方面的关键作用，并提出了一组任务来分析 CodeBERT 模型，同时，文章还提出了一种替代方法来预训练模型，充分利用当前的预训练策略，即 MLM，以学习代码语法和语义。

    Dec, 2022

  • 多模态注意力网络学习用于语义源代码检索

    本文提出了一种新的多模式注意力网络（MMAN）来解决代码检索过程中的两个主要问题：缺少结构化特征以及深度学习方法的可解释性，其中.MMAM 能够准确地从大规模的代码库中检索代码片段，同时在实际数据集上也比当前最先进的方法表现更优秀。

    Sep, 2019

  • 现代 IDE 中的代码完成的序列模型设计

    我们提出了一种结合静态分析和语言模型预测词汇分布的方法，以实现代码完成实时性、准确性及有效性，提高模型的适用性与可用性。

    Apr, 2020

  • 自注意力机制的优势：神经机器翻译结构的定向评估

    本文探讨了卷积网络、自注意力网络和循环神经网络在神经机器翻译中的表现。研究发现，自注意力网络和卷积网络在语义特征提取方面表现更好，但在长距离依赖性分析中没有超越循环神经网络。

    Aug, 2018

  • 代码的结构语言模型

    该研究报告介绍了一种新方法 —— 结构化语言建模（SLM），利用编程语言的严格语法将代码片段建模为树来实现任意代码完成，该方法可以生成任意编程语言的任意代码，在生成 Java 和 C# 代码方面，效果显著优于现有技术。

    Sep, 2019

  • 基于 Transformer 的智能调用自动代码完成方法

    我们开发了一个机器学习模型，可以根据代码上下文和可用的遥测数据准确预测何时调用代码补全工具，该模型显著优于基准模型并在维持低延迟的同时集成了一些额外的遥测数据。

    May, 2024