COLINGMar, 2024

ProCQA：一个用于编程问答的大型基于社区的代码搜索数据集

PDF
TL;DR基于检索的代码问答模型通过预训练模型使用构建的双模和单模数据集来匹配自然语言查询与相关代码片段。本文介绍了 ProCQA，一个从 StackOverflow 社区提取的大规模编程问答数据集，提供自然结构的混合模态问答对。为了验证其有效性，我们提出了一种模态不可知的对比预训练方法，以改善当前代码语言模型的文本和代码表示之间的对齐。与先前主要使用从 CodeSearchNet 中提取的双模和单模对进行预训练的模型相比，我们的模型在广泛的代码检索基准上表现出显著的性能改进。
retrieval-based code question answeringprocqaprogramming question answering datasetmodality-agnostic contrastive pre-trainingcode retrieval benchmarks
发现论文，激发创造
  • CodeQA: 一个面向源代码理解的问答数据集

    提出了 CodeQA，一个免费的自由格式问题回答数据集，旨在实现源代码理解：给定代码片段和问题，需要生成文本答案。包含 119,778 个 Java 问题 - 答案对和 70,085 个 Python 问题 - 答案对的 CodeQA 数据集。通过语法规则和语义分析将代码注释转换为问题 - 答案对。对数据集进行了系统分析，并展示了几个神经网络的实验结果。尽管关于问题回答和机器阅读理解的研究发展迅速，但很少有先前的工作关注代码问题回答。这个新数据集可以作为源代码理解研究的有用基准。

    Sep, 2021

  • CS1QA：面向初级编程课程的代码问答辅助数据集

    CS1QA 是一个用于编程教育领域中的基于代码的问答数据集，由 Python 入门编程课程的聊天记录中的 9237 个问题 - 答案对和 17698 个未注释的带代码的聊天数据组成，可以用作来源码理解和问答的基准。

    Oct, 2022

  • CCQA：用于模型预训练的新型 Web 规模问答数据集

    本文提出一种在 Common Crawl 项目的基础上，使用大规模、自然、多样化问答数据集进行领域内预训练的方法，该方法可以用于 open-domain question-answering 任务中的零样本、低资源和微调设置，展示了预训练在该任务中的潜力。

    Oct, 2021

  • CoSQA: 2 万 + Web 查询用于代码搜索和问题回答

    通过引入 CoSQA 数据集，我们提出了一种名为 CoCLR 的对比学习方法，该方法的作用是作为一种数据增强器，以产生更多人工生成的训练实例，从而增强查询 - 代码匹配，实验表明，使用 CoSQA 进行训练可将代码问题回答的准确性提高 5.1％，并且使用 CoCLR 进一步提高 10.5％。

    May, 2021

  • StaQC: 从 Stack Overflow 系统挖掘的问题 - 代码数据集

    本文提出了一种新的从 Stack Overflow 上系统挖掘问题 - 代码对的方法，并利用双视图层次神经网络模型进行预测，成功地创建出目前最大的 Python 和 SQL 领域的问题 - 代码对数据集 StaQC，可以有效地帮助自然语言处理模型与编程语言的关联。

    Mar, 2018

  • CoSQA+：通过匹配代码增强代码搜索数据集

    语义代码搜索是软件工程中提高生产力的重要任务。该论文介绍了 CoSQA+，它通过将高质量的查询与多个合适的代码配对，来解决现有代码搜索数据集存在的问题，并利用大型语言模型自动化进行配对注释、过滤和代码生成，提高了模型性能。此外，还提出了一个新的评估标准 MMRR 来评估一对多代码搜索的性能。

    Jun, 2024

  • CoQA: 一项面向对话的问题回答挑战

    本篇论文提出了一种建立对话式问答系统的新数据集 CoQA，包含来自七个不同领域的 8,000 个对话中 127,000 个具有答案的问题，分析表明，这些问题比现有的阅读理解数据集具有更多挑战性和难点，需要针对性的解决方案，评测结果显示目前最好的系统 F1 得分为 65.4％，仍然有大量的改进空间。

    Aug, 2018

  • SearchQA：一份由搜索引擎中加强了语境的新问答数据集

    该研究提出了一个名为 SearchQA 的数据集，该数据集用于机器理解和问答，并通过从 J! Archive 爬取的现有问题 - 答案配对及 Google 检索的文本片段进行扩充。在 SearchQA 中，包含了 14 万个问题 - 答案对，每个对平均包含 49.6 个片段。使用人类评估以及两种基准方法进行测试，研究显示了人类和机器表现之间的显著差距，表明所提出的数据集可作为问答的基准。

    Apr, 2017

  • CoQA、SQuAD 2.0 和 QuAC 的定性比较

    本文比较了三个新的问答数据集：SQuAD 2.0、QuAC 和 CoQA，在新特性（如无法回答的问题、多轮交互和摘要回答）方面进行了比较，并展示了这些数据集提供了互补性的覆盖率，但在回答的摘要方面覆盖率较弱。作者表明，由于数据集的结构相似，可以很容易地将单个选取模型适应于任何数据集，并展示了 SQuAD 2.0 和 CoQA 上的改进基线结果。尽管相似，但在一个数据集上训练的模型对另一个数据集是无效的，但我们通过预训练找到了适量的性能提升。为了鼓励交互评估，我们在此 https URL 上公开了数据集转换的代码。

    Sep, 2018

  • KQA Pro: 拥有显式组合程序的知识库复杂问答数据集

    本文介绍了一个题库 KQA Pro，旨在解决现有题库对多复杂推理能力的不足，采用了一种可组合且可解释的编程语言 KoPL 来表示复杂问题的推理过程，提供了与每个问题对应的 KoPL 程序和 SPARQL 查询，可以用于知识库问答和语义解析任务，并将其视为测试多种推理能力的诊断性数据集。实验结果表明，SOTA KBQA 方法在 KQA Pro 上无法取得与当前数据集同样的优异结果，这表明 KQA Pro 很具有挑战性，需要进一步的研究努力。

    Jul, 2020