Mar, 2018

评估开发者如何使用通用网络搜索进行代码检索

PDF
TL;DR本文探讨使用通用搜索引擎 (Google) 进行与代码相关的搜索是否是最佳选择。为了分析这个问题，我们从 310 个开发人员收集含有近 150,000 个搜索查询的搜索日志，并基于一个模型将查询进行分类。我们发现与通用非代码搜索相比，代码相关的搜索通常需要更多的努力 (例如时间、结果点击和查询修改)，这表明通用搜索引擎的代码搜索性能不如专门的搜索工具。
software developmentgeneral-purpose search enginecode-related searchessearch logsautomatic classifier
发现论文，激发创造
  • 代码搜索去偏技术：提升搜索结果的整体排名性能之外的表现

    通过分析代码搜索模型的偏差，本论文研究了代码搜索引擎的另一方面，提出了一种基于重排序的去偏方法，能够有效减少代码搜索引擎的偏见并提高整体排名性能。

    Nov, 2023

  • 科学家和工程师如何寻找软件：一个调查研究

    该研究调查了科学和工程领域人员在寻找软件时的偏好和选择标准，并发现软件开发人员在社区网站、软件项目库、软件目录和组织特定的邮件列表或论坛等方面与非开发人员存在差异，同时调查还确定了一些阻止人们找到软件的因素。

    May, 2016

  • 神经代码搜索再探：通过自然语言意图增强代码片段检索

    提出并研究了注释代码搜索：使用自然语言查询检索与简短描述其意图的代码片段。通过在三个基准数据集上研究如何利用描述来更好地捕捉代码片段的意图，建立了一种用自然语言描述注释的领域特定检索模型。发现相对于不使用描述但仅尝试从未注释的代码中计算片段意图的最新代码检索方法，我们的模型可以获得显著更相关的搜索结果（平均倒数排名的绝对增益高达 20.6％）。

    Aug, 2020

  • GenCodeSearchNet：编程语言理解中泛化能力评估的基准测试套件

    使用大规模生成模型和较小的编码器模型，语言模型可以帮助软件开发人员提高生产力，包括代码生成、代码补全、代码搜索等任务，并且可以通过新的基准数据集 GenCodeSearchNet (GeCS) 来评估语言模型对编程语言理解的泛化能力。

    Nov, 2023

  • 构建高质量的训练数据集对于神经代码搜索的重要性

    本文提出一个数据清洗框架，包含基于规则的句法过滤器和基于模型的语义过滤器，将其应用于神经代码搜索数据集，以提高数据集质量和模型性能。实验证明，使用我们的框架训练神经代码搜索模型可平均提高 19.2％的 MRR 和 21.3％的 Answer@1。

    Feb, 2022

  • 通过代码搜索：新的代码片段搜索数据集和 SnippeR 检索模型

    提出了一个新的 SearchBySnippet 数据集并建立了一个单一编码器模型 SnippeR，用于针对代码搜索的基准测试。在这一设置中，现有的架构即使是经过精细调整后也远远不及最简单的 BM25 基准。

    May, 2023

  • 使用生成式搜索引擎进行知识工作和复杂任务

    基于 Bing Copilot（Bing 聊天）的实证分析结果显示，人们使用生成式搜索引擎进行更高认知复杂度的知识工作任务，相较于传统搜索引擎。

    Mar, 2024

  • CodeSearchNet 挑战赛：评估语义代码搜索的状态

    该研究描述了一种通用的语义代码搜索方法以及 CodeSearchNet Corpus，这个语料库包含来自六种编程语言的六百万个开源代码函数和自动生成的 2 百万个函数的查询式自然语言，该方法支持自然语言查询并能输出相应的代码建议。

    Sep, 2019

  • 抽象图像在反向图像搜索引擎中具有不同的检索能力水平

    本文评估常见反向图像搜索引擎在发现技术文档中抽象图像方面的表现，发现自然图像上，Yandex 表现更好，在搜索包含特定图像的页面时，Google 和 Yandex 的精度得分约为 0.8191 至 0.8297，且在这两种情况下，Google 和 Yandex 在自然图像上的表现优于抽象图像，这些结果影响着使用常见网络搜索引擎搜索使用抽象图像的技术文档的人们

    Nov, 2022

  • 神经代码搜索的后门

    本文研究了神经代码搜索模型的安全性，在已有的在线代码库中，攻击者可以注入有漏洞的代码片段并使其在搜索结果中排名较高，进而影响到软件系统的正常运行并带来潜在的财务和安全风险。作者提出了一种名为 BADCODE 的攻击方式，并对其进行了测试和评估，结果表明该攻击的成功率比现有的攻击方式高出了 60%。

    May, 2023