Feb, 2024

规模化的代码表示学习

PDF
TL;DR通过大量的代码数据进行编码表示学习，使用两阶段的预训练方案以及对比学习的方式增强表示，在各种下游任务上持续显著地超过现有的模型，详细讨论了源代码的自定义和有效的令牌级去噪方案、硬负样本与硬正样本的重要性、提出的双模态对比学习如何提升跨语义搜索性能以及预训练方案对模型规模决定下游任务性能的影响。
code representation learningpretraining schemecontrastive learninghard negatives and hard positivesdownstream task performance
发现论文，激发创造
  • 对比代码表示学习

    本文介绍了应对在自然语言生成中源代码编辑的二义性问题的解决方案 ——ContraCode，通过对许多非等价程序的功能相似变体进行对比预训练的方式来实现源代码功能性的学习，并在 JavaScript 总结和 TypeScript 类型推断准确性上取得了较大的提升。

    Jul, 2020

  • CodeT5+: 用于代码理解和生成的开源大型语言模型

    提出了一种名为 CodeT5 + 的编译器 - 解码器语言模型，具有灵活的组件模块和多样化的预训练任务，能够在不同的代码相关基准测试中取得最先进的结果，特别是在针对人类评估的代码生成任务中。

    May, 2023

  • 代码表示预训练与程序执行的补充

    本论文介绍了一种名为 FuzzPretrain 的方法，利用程序的测试用例中的动态信息，将其嵌入代码的特征表示中，以改善代码搜索的效果，并提供了学习具有区分性的代码表示的实验证据。

    Sep, 2023

  • CodeGen2：训练大型语言模型处理编程和自然语言的经验教训

    本文研究如何通过整合模型架构、学习方法、填充采样和数据分布等四个关键组件来提高大型语言模型在程序综合方面的训练效率，并在 1B LLMs 上开展了一系列实验，提炼出四个教训并发布了 CodeGen2 模型和训练框架。

    May, 2023

  • 使用带噪文本监督扩展视觉和视觉语言表示学习

    本文利用包含超过 10 亿个图像备选文本对的嘈杂数据集，采用简单的双编码器体系结构通过对比损失，学习了图像和文本对的视觉和语言表示，显示出我们语料库的规模可以弥补其噪音，即使使用这样的简单学习方案也能实现最先进的表现，使跨模式搜索变得更加容易。

    Feb, 2021

  • 代码的通用表示方法

    本研究提出了一种基于图形的代码表示技术，并通过有效的预训练策略生成通用代码表示。通过在真实数据集上的测试，表明该方法在方法名称预测和代码图链接预测方面具有最先进的结果。

    Mar, 2021

  • 预训练语言模型表示用于语言生成

    本文研究了将预训练的语言模型表征集成到序列到序列模型中的不同策略，并将其应用于神经机器翻译和抽象摘要。实验证明，加入编码器网络的预训练表示是最有效的，可以在减慢推理速度仅 14％的情况下获得高达 5.3 BLEU 的增益，并且即使有数百万个句对可用时，仍然可以观察到改进。最后，在 CNN / DailyMail 的完整文本版本上，我们达到了最新的研究成果。

    Mar, 2019

  • 面向预训练代码模型的高效微调：实验研究及其发展方向

    该研究通过分层预训练表示的实验研究发现了不同层数与源代码信息的关系，从而提出了 Telly 技术，通过层冻结来有效地微调预训练代码模型，从而降低了学习参数和时间成本。

    Apr, 2023

  • 探索代码搜索中的表示层增广

    本研究提出了一种在表示级别进行数据增强的方法来提高代码搜索模型的性能，其中包括三种新的增强方法，并理论和实验评估了这些方法的优势。

    Oct, 2022

  • 通过自我改进获得更好的代码语言模型

    该研究提出了一个简单的数据增强框架，利用预训练和微调阶段获得的知识来生成伪数据，以进一步提高 PLMC 的性能，在 CodeXGLUE 基准测试中的代码摘要和代码生成等方面取得了显著的改进。

    Apr, 2023