Mar, 2022

利用序列标注式问答技术对代码和自然语言对的跨编程语言挖掘

HTML
PDF
TL;DR本研究提出一种序列标注的问答（SLQA）方法，旨在以一种不依赖于编程语言的方式挖掘自然语言和编程语言对。该方法应用BIO标注方案，统计分析和下游评估表明，自动挖掘的Lang2Code是进行进一步自然语言和编程语言研究的大规模高质量数据资源。
发现论文，激发创造
  • StaQC: 从Stack Overflow系统挖掘的问题-代码数据集

    本文提出了一种新的从Stack Overflow上系统挖掘问题-代码对的方法，并利用双视图层次神经网络模型进行预测，成功地创建出目前最大的Python和SQL领域的问题-代码对数据集StaQC，可以有效地帮助自然语言处理模型与编程语言的关联。

    Mar, 2018

  • 从 Stack Overflow 学习挖掘代码和自然语言配对

    该论文提出了一种新方法，使用手工特征和神经网络提取对齐的自然语言与代码的模式，通过分类器挖掘高质量的数据集，并在Python和Java两种编程语言中进行实验，表明该方法即使在使用少量标记示例时也能大大提高代码挖掘的覆盖范围和准确性。

    May, 2018

  • 多语言池中的语言无关答案检索

    介绍了 LAReQA - 一项新的挑战性基准测试，可从多语言候选池中进行语言无关的答案检索。在基于多语言 BERT 的基础上，研究了实现强交叉语言对齐的不同策略，发现通过机器翻译增加训练数据是有效的，同时，该基线在 LAReQA 上表现最好，但在仅瞄准“弱”对齐的任务中却不及竞争基线，这突显了语言无关检索是一种实质性新型跨语言评估。

    Apr, 2020

  • MKQA：面向多语言开放域问题回答的语言多样性基准测试

    研究跨语言建模的进展取决于具有挑战性、真实性和多样性的评估集。本文提出了一种开放领域的问题回答评估集“Multilingual Knowledge Questions and Answers”（MKQA），包括10k个问题-答案对，跨越26种语言（总计260k个问题-答案对）。结果表明，即使在英语中，这个数据集也具有挑战性，尤其是在低资源语言中。

    Jul, 2020

  • CoSQA: 2万+ Web查询用于代码搜索和问题回答

    通过引入CoSQA数据集，我们提出了一种名为CoCLR的对比学习方法，该方法的作用是作为一种数据增强器，以产生更多人工生成的训练实例，从而增强查询-代码匹配，实验表明，使用CoSQA进行训练可将代码问题回答的准确性提高5.1％，并且使用CoCLR进一步提高10.5％。

    May, 2021

  • CodeQA: 一个面向源代码理解的问答数据集

    提出了CodeQA，一个免费的自由格式问题回答数据集，旨在实现源代码理解：给定代码片段和问题，需要生成文本答案。包含119,778个Java问题-答案对和70,085个Python问题-答案对的CodeQA数据集。通过语法规则和语义分析将代码注释转换为问题-答案对。对数据集进行了系统分析，并展示了几个神经网络的实验结果。尽管关于问题回答和机器阅读理解的研究发展迅速，但很少有先前的工作关注代码问题回答。这个新数据集可以作为源代码理解研究的有用基准。

    Sep, 2021

  • 应用答案生成进行跨语言开放领域问答

    本文介绍了GenQA方法，将其扩展到跨语言环境下的GenTyDiQA，并通过利用多种语言的段落设计了一个跨语言生成模型，优于所有5种语言的答案选择基线和3种中文的生成管道。

    Oct, 2021

  • CCQA：用于模型预训练的新型 Web 规模问答数据集

    本文提出一种在Common Crawl项目的基础上，使用大规模、自然、多样化问答数据集进行领域内预训练的方法，该方法可以用于open-domain question-answering任务中的零样本、低资源和微调设置，展示了预训练在该任务中的潜力。

    Oct, 2021

  • 预训练语言模型在简单知识图谱问答中的实证研究

    本文针对知识图谱问答中不同预训练语言模型的性能对比，基于两个基本框架和三个基准数据集进行了实验和分析，结果表明知识蒸馏和知识增强技术对于知识图谱问答有很大的帮助；同时，该文还测试了 ChatGPT 在零样本知识图谱问答方面的表现，最终发布了相关代码与基准数据集供后续研究使用。

    Mar, 2023

  • 基于提示的少样本问答合成数据生成

    使用大型语言模型在少样本学习Set中提高问题回答的性能。

    May, 2024