本文介绍了一种新的代码到代码搜索技术，通过包括静态和动态特征以及在训练过程中利用相似和不同的示例来提高大型语言模型的性能。我们展示了第一个能够在训练期间编码动态运行时信息的代码搜索方法，在推断时间无需执行搜索语料库或搜索查询，同时还是第一个训练正负参考样本的代码搜索技术。我们通过一系列研究验证了我们方法的有效性，并展示了增强 LLMs 执行跨语言代码到代码搜索的能力。我们的评估表明，我们的方法的效果在各种模型架构和编程语言中都是一致的。此外，我们的消融研究表明，即使在训练过程中只有一个正面和负面参考样本，也会产生相当大的性能提高，这证明了相似和不同的参考是代码搜索的重要部分。重要的是，我们展示了精心制作的、经过调整的模型在性能上始终优于未调整的更大的现代 LLMs，即使是在增强最大可用 LLMs 时也是如此，这凸显了开源模型的重要性。为了确保我们研究的可重复性和可扩展性，我们介绍了一个名为 Cosco 的开源实现和培训过程

May, 2023

该研究提出了一种多角度跨语言神经框架用于代码 - 文本匹配，具备全球和本地相似性，结果比以往单映射空间的方法更好地完成了这一任务。

May, 2020

本文提出了一种新颖的深度语义模型，利用多模式来源和特征提取器的效用，将交叉语言嵌入与大批量和难样例挖掘结合起来，结合不同的学习表示来增强表示学习，以解决语义代码搜索任务，该模型在 CodeSearchNet 语料库上训练并在保留数据上评估，取得了 0.384 NDCG 的优异成绩，并在该基准测试中获得第一名。

Jan, 2022

提出了一种新的上下文感知代码翻译技术，将代码片段翻译成自然语言描述，并使用单一词汇表为翻译和查询生成嵌入，名为 TranCS，实验证明其显著优于最先进技术。

Feb, 2022

CP-Tuning 是第一个无需手动工程任务特定提示和说明符进行微调的端到端对比提示调整框架，它与任务不变的连续提示编码技术和完全可训练的提示参数相集成。

Apr, 2022

本文提出了一种用于代码摘要的新型提示学习框架，称为 PromptCS，该框架训练了一个能够生成连续提示的提示代理，以释放大语言模型在代码摘要中的潜力，相比于人工编写的离散提示，连续提示更易于大语言模型理解。PromptCS 在 CodeSearchNet 数据集上的评估结果表明，优于所有四个广泛使用的度量标准的指导学习方案，并且在某些基础大语言模型上，例如 CodeGen-Multi-2B 和 StarCoderBase-1B 和 - 3B，甚至优于任务导向的微调方案。重要的是，PromptCS 的训练效率比任务导向的微调方案更快，在较大的大语言模型上具有更明显的优势。人工评估的结果表明，与基准相比，PromptCS 能够生成更好的摘要。

Dec, 2023

预训练语言模型可以通过闭式样式提示来推断关系性知识，使用统一的元模板设计的 CONPARE-LAMA 探针表明句子结构在知识检索性能方面具有多种可取的特性，并且领域信息相对于语法形式更可靠地提升知识检索性能。

Apr, 2024

本研究提出了一种基于序列到序列深度学习模型的自然语言到编程语言的建议系统，可以根据自然语言的意图建议源代码片段，并扩展源代码的自动补全功能。该系统通过上下文感知的神经模型直接生成源代码标记，而不是从源代码生成解析树 / 抽象意义表示再转换成源代码。此外，提出的架构还使用预训练策略和数据增强技术来提高性能，并且在 BLEU-4 指标上超过了神经语义解析器 TranX 的表现约 10.82%。该系统还可以用于生成源代码的自然语言文档，并提出了基于 RoBERTa 的掩码语言模型来扩展该系统用于代码补全。

Feb, 2024

CodePrompt 是一种新颖方法，利用 prompt 学习和注意机制从预训练模型中召回丰富的知识来提高源代码相关的分类任务的准确性。该方法避免了需要额外的神经网络层和降低计算成本，并采用注意机制来聚合多层相关知识作为最终特征，从而在准确度方面达到新的最佳性能，并具备节省计算成本的能力。

Jan, 2024

本文介绍了一种名为 CodeTask-CL 的新颖基准测试，针对静态代码生成等多样的编码任务，比较了 NLP 和 Vision 领域中的几种不同的 Continual Learning 技术，提出了一种名为 Prompt Pooling with Teacher Forcing（PP-TF）的新的稳定训练的技术，取得了 21.54% 的改进效果，为大规模编码体系中的 Continual Learning 方法的进一步发展提供了支持。

Jul, 2023