May, 2023

通过代码搜索：新的代码片段搜索数据集和 SnippeR 检索模型

PDF
TL;DR提出了一个新的 SearchBySnippet 数据集并建立了一个单一编码器模型 SnippeR，用于针对代码搜索的基准测试。在这一设置中，现有的架构即使是经过精细调整后也远远不及最简单的 BM25 基准。
code searchsearch-by-codedatasetsnipperbenchmark
发现论文，激发创造
  • 神经代码搜索再探：通过自然语言意图增强代码片段检索

    提出并研究了注释代码搜索：使用自然语言查询检索与简短描述其意图的代码片段。通过在三个基准数据集上研究如何利用描述来更好地捕捉代码片段的意图，建立了一种用自然语言描述注释的领域特定检索模型。发现相对于不使用描述但仅尝试从未注释的代码中计算片段意图的最新代码检索方法，我们的模型可以获得显著更相关的搜索结果（平均倒数排名的绝对增益高达 20.6％）。

    Aug, 2020

  • 神经代码搜索评估数据集

    本文介绍了一种自然语言代码搜索模型的性能评估方法，并提供了包含查询和代码碎片对的评估数据集，以作为未来工作的标准基准。此外，本文还提供了最近工作中两种代码搜索模型的研究结果。

    Aug, 2019

  • 构建高质量的训练数据集对于神经代码搜索的重要性

    本文提出一个数据清洗框架，包含基于规则的句法过滤器和基于模型的语义过滤器，将其应用于神经代码搜索数据集，以提高数据集质量和模型性能。实验证明，使用我们的框架训练神经代码搜索模型可平均提高 19.2％的 MRR 和 21.3％的 Answer@1。

    Feb, 2022

  • 使用 CodeSearchNet 语料库学习深度语义模型进行代码搜索

    本文提出了一种新颖的深度语义模型，利用多模式来源和特征提取器的效用，将交叉语言嵌入与大批量和难样例挖掘结合起来，结合不同的学习表示来增强表示学习，以解决语义代码搜索任务，该模型在 CodeSearchNet 语料库上训练并在保留数据上评估，取得了 0.384 NDCG 的优异成绩，并在该基准测试中获得第一名。

    Jan, 2022

  • 基于上下文感知代码翻译的代码搜索

    提出了一种新的上下文感知代码翻译技术，将代码片段翻译成自然语言描述，并使用单一词汇表为翻译和查询生成嵌入，名为 TranCS，实验证明其显著优于最先进技术。

    Feb, 2022

  • 利用神经机器翻译构建多语言代码搜索数据集

    本研究使用神经机器翻译模型，创建了一个包括四种自然语言和四种编程语言的多语言代码搜索数据集，并使用 Transformer 模型预训练和微调，然后在多个代码搜索测试集上进行评估。结果显示，预训练模型在自然语言和编程语言数据上表现最佳。通过应用反向翻译数据过滤，研究表明翻译质量在一定程度上影响模型的性能，但数据规模更为重要。

    Jun, 2023

  • 神经代码搜索的后门

    本文研究了神经代码搜索模型的安全性，在已有的在线代码库中，攻击者可以注入有漏洞的代码片段并使其在搜索结果中排名较高，进而影响到软件系统的正常运行并带来潜在的财务和安全风险。作者提出了一种名为 BADCODE 的攻击方式，并对其进行了测试和评估，结果表明该攻击的成功率比现有的攻击方式高出了 60%。

    May, 2023

  • 基于生成模型的查询扩展技术在代码检索中的应用

    本文提出了一个以生成扩展查询为基础的框架，利用强大的代码生成模型来提高代码检索任务。该方法优化了嵌入到潜空间的文档 - 代码对，利用生成的代码片段将文档查询扩展与目标代码片段匹配。该方法在 CodeSearchNet 数据集上实验，并取得了迄今为止最好的性能结果。

    Dec, 2022

  • CoSQA+：通过匹配代码增强代码搜索数据集

    语义代码搜索是软件工程中提高生产力的重要任务。该论文介绍了 CoSQA+，它通过将高质量的查询与多个合适的代码配对，来解决现有代码搜索数据集存在的问题，并利用大型语言模型自动化进行配对注释、过滤和代码生成，提高了模型性能。此外，还提出了一个新的评估标准 MMRR 来评估一对多代码搜索的性能。

    Jun, 2024

  • 学习如何回答代码的语义查询

    本研究构建了一个名为 CodeQueries 的数据集，并提出了基于神经网络的代码语义查询系统，结果表明神经模型可以对代码语法错误进行容错，但代码规模增大、存在不相关的代码以及训练例子减少均会限制模型性能。

    Sep, 2022