本文提出了一种新的多模式注意力网络（MMAN）来解决代码检索过程中的两个主要问题：缺少结构化特征以及深度学习方法的可解释性，其中.MMAM 能够准确地从大规模的代码库中检索代码片段，同时在实际数据集上也比当前最先进的方法表现更优秀。

Sep, 2019

本文提出了一种基于图神经网络的深度图匹配与搜索模型，应用于语义代码检索任务。该模型通过交叉注意力的语义匹配操作，不仅能够捕获查询文本和代码片段的更多结构信息，还能够学习它们之间的细粒度相似性，并在两个公共代码检索数据集中取得了比基线模型显著更好的效果。

Oct, 2020

语义代码搜索是软件工程中提高生产力的重要任务。该论文介绍了 CoSQA+，它通过将高质量的查询与多个合适的代码配对，来解决现有代码搜索数据集存在的问题，并利用大型语言模型自动化进行配对注释、过滤和代码生成，提高了模型性能。此外，还提出了一个新的评估标准 MMRR 来评估一对多代码搜索的性能。

Jun, 2024

本文介绍了一种新的代码到代码搜索技术，通过包括静态和动态特征以及在训练过程中利用相似和不同的示例来提高大型语言模型的性能。我们展示了第一个能够在训练期间编码动态运行时信息的代码搜索方法，在推断时间无需执行搜索语料库或搜索查询，同时还是第一个训练正负参考样本的代码搜索技术。我们通过一系列研究验证了我们方法的有效性，并展示了增强 LLMs 执行跨语言代码到代码搜索的能力。我们的评估表明，我们的方法的效果在各种模型架构和编程语言中都是一致的。此外，我们的消融研究表明，即使在训练过程中只有一个正面和负面参考样本，也会产生相当大的性能提高，这证明了相似和不同的参考是代码搜索的重要部分。重要的是，我们展示了精心制作的、经过调整的模型在性能上始终优于未调整的更大的现代 LLMs，即使是在增强最大可用 LLMs 时也是如此，这凸显了开源模型的重要性。为了确保我们研究的可重复性和可扩展性，我们介绍了一个名为 Cosco 的开源实现和培训过程

May, 2023

本文介绍了一种基于树序列化方法和多模态学习模型的语义代码搜索技术，实验结果表明，这种技术可以有效提高代码搜索性能。同时提出衡量代码信息完整度的量化指标来辅助实验结果理解。

Jul, 2021

本文研究图像文本匹配问题，提出了一种使用交叉注意力机制的方法来发现包括图像区域和句子单词在内的全部潜在对齐，从而推断图像与文本之间的相似性，实验结果在 MS-COCO 和 Flickr30K 数据集上均表现为最先进的水平。

Mar, 2018

该研究报告介绍了一种新方法 —— 结构化语言建模（SLM），利用编程语言的严格语法将代码片段建模为树来实现任意代码完成，该方法可以生成任意编程语言的任意代码，在生成 Java 和 C# 代码方面，效果显著优于现有技术。

Sep, 2019

SAM++ 是一个能够在医学图像中学习外观和语义嵌入的框架，其固定点匹配机制能够克服原来方法中的一些限制，并取得了比现有方法更好的结果。

Jun, 2023

本文研究了 CodeBERT 模型基于 AST 和静态分析，通过自我关注机制和 Masked Language Modelling（MLM）在令牌级别上学习代码语法和语义的能力，展示了其中自我关注机制在了解代码语法和语义方面的关键作用，并提出了一组任务来分析 CodeBERT 模型，同时，文章还提出了一种替代方法来预训练模型，充分利用当前的预训练策略，即 MLM，以学习代码语法和语义。

Dec, 2022

提出一种基于决策实现的、新式的样本选择机制，以维护记忆缓冲区，有效地减轻了 CSS 中忘却现象的影响，使得算法具备了最先进的性能表现。

Apr, 2023