TransformCode: 通过子树转换实现的代码嵌入的对比学习框架

Nov, 2023

TransformCode: 通过子树转换实现的代码嵌入的对比学习框架

TransformCode: A Contrastive Learning Framework for Code Embedding via Subtree transformation

Zixiang Xian, Rubing Huang, Dave Towey, Chunrong Fang, Zhenyu Chen

TL;DR通过使用 Transformer 编码器作为模型的一个关键组成部分并引入了一个名为 TransformCode 的新型框架，该研究论文提出了一种基于对比学习方式学习代码嵌入的方法，并介绍了一种名为抽象语法树转换的新型数据增强技术，从而生成更多样化和稳健的锚点样本。该框架不仅灵活适应，可以扩展到其他需要代码表达的下游任务，而且效率高且可扩展性强，支持任何编程语言。

Abstract

large-scale language models have made great progress in the field of software engineering in recent years. They can be used for many code-related tasks such as code clone detection, code-to-code search, and method name prediction. However, these →

large-scale language models code embedding transformcode contrastive learning abstract syntax tree transformation

发现论文，激发创造

基于上下文感知代码翻译的代码搜索

提出了一种新的上下文感知代码翻译技术，将代码片段翻译成自然语言描述，并使用单一词汇表为翻译和查询生成嵌入，名为 TranCS，实验证明其显著优于最先进技术。

Feb, 2022

CodeTrans: 通过自监督深度学习和高性能计算破译硅谷代码语言

本研究使用 CodeTrans—— 一种编码器 - 解码器 transformer 模型，在六个软件工程任务中探究了 encoder-decoder transformer 模型的有效性，并调查了各种训练策略的影响，包括单任务学习、迁移学习、多任务学习和多任务学习与微调。结果表明，CodeTrans 在所有任务上均优于现有模型。该研究为软件工程领域的未来工作提供了有力的支持，并公开了预训练模型。

Apr, 2021

InferCode：通过预测子树进行代码表示的自监督式学习

本文提出了 InferCode 用于建立源代码模型的自监督学习机制，通过从 AST 上下文中识别的子树进行训练去匹配程序的表示，该技术不需要人工标注，也不与特定任务或代码单元相绑定，应用于无监督的任务效果显著。

Dec, 2020

代码结构指导的源代码摘要变压器

本文提出了一个名为 SG-Trans 的新颖方法，通过将本地符号信息和全局句法结构注入到 Transformer 的自注意模块作为归纳偏置，并设计能够分布在 Transformer 的较低层和高层的注意头中，进一步捕捉代码的层次特征，将其有效地集成到 Transformer 来实现深度学习自动生成代码摘要，经过广泛评估，SG-Trans 相对于最佳基准测试结果在两个基准数据集上分别提高了 1.4％和 2.0％的 METEOR 得分，这是一种广泛用于测量生成质量的指标。

Apr, 2021

TransCoder: 基于人类技能的统一可迁移代码表示学习

本文介绍了 TransCoder，一种统一的用于代码表示学习的可转移微调策略，能够促进代码相关任务的卓越性能，并鼓励相互强化。

May, 2023

基于 Transformer 的源代码摘要方法

本文探讨使用 Transformer 模型和自注意力机制来生成代码表示以进行源代码概述的任务，并提出其相对编码表现显著优于绝对编码，并通过实验验证其在处理长距离依赖性方面的有效性，实现了领先于现有技术的性能表现。

May, 2020

基于结构的 Transformer 的代码摘要

本研究利用结构诱导 Transformer 模型，提高源代码自动摘要生成的性能和效果。

Dec, 2020

理解代码语义：Transformer 模型在摘要中的评估

这篇论文通过使用先进的基于变压器的语言模型深入研究了代码摘要。通过实证研究，我们改变函数和变量名称来评估代码摘要的效果，以探索模型是否真正理解代码语义或仅依赖于文本线索。我们还引入了死代码和注释代码等对抗性实验，覆盖了 Python、Javascript 和 Java 三种编程语言，进一步审查模型的理解能力。最终，我们的研究旨在提供有关基于变压器的语言模型内部工作方式的有价值见解，增强其理解代码的能力，并为更高效的软件开发实践和维护工作流做出贡献。

Oct, 2023

StructCoder: 面向结构的代码生成 Transformer

本研究利用编码器 - 解码器 Transformer 模型进行编码生成，使用诸如抽象语法树路径预测和数据流预测等辅助任务，结构感知地提高了生成代码质量，实现了代码翻译和文本到代码生成任务的最新性能状态。

Jun, 2022

CodeTF: 一站式 Transformer Library 为最先进的代码 LLM

该研究介绍了 CodeTF—— 一个用于代码 LLMs 和代码智能的开源 Transformer-based 库，它支持众多预训练模型和常见代码基准，标准化的界面和数据特征提取工具。与其他相关工具相比较，CodeTF 采用了模块化设计和可拓展的框架，并致力于弥合机器学习 / 生成人工智能与软件工程之间的鸿沟，为开发者、研究人员和实践者提供全面开源的解决方案。

May, 2023