Jul, 2021

QA数据集爆炸：问答和阅读理解的自然语言处理资源分类

HTML
PDF
TL;DR本文回顾了近年来深度学习模型在自然语言处理中的研究，并着重探讨了问题回答和阅读理解方面逾80种新数据集。除此之外，对现有各种格式和领域的资源进行了总结，并提出了新的技能分类法以及对过度专注于英语的影响。最后旨在为从业者和研究人员提供指引。
发现论文，激发创造
  • MKQA：面向多语言开放域问题回答的语言多样性基准测试

    研究跨语言建模的进展取决于具有挑战性、真实性和多样性的评估集。本文提出了一种开放领域的问题回答评估集“Multilingual Knowledge Questions and Answers”（MKQA），包括10k个问题-答案对，跨越26种语言（总计260k个问题-答案对）。结果表明，即使在英语中，这个数据集也具有挑战性，尤其是在低资源语言中。

    Jul, 2020

  • GermanQuAD和GermanDPR: 提高非英语问答和文章检索的能力

    本文介绍了一个非英语机器阅读问答研究的主要挑战：缺乏注释数据集。我们随后提出一个德语QA数据集（GermanQuAD），总结经验教训，并评估QA问答对重组的效果，以加速注释过程。通过GermanQuAD数据训练，提出的QA模型明显优于多语言模型。最后，将数据集适应于DPR语言，训练了第一款非英语DPR模型。

    Apr, 2021

  • 走向更加公平的问答系统：需要多少更多的数据？

    本研究探讨如何通过自动翻译和排列组合技术将已有的数据资源应用到多语种的问答系统中，并进行深入分析和提出未来数据集开发的建议，以提高多语种问答系统的覆盖面。

    May, 2021

  • CCQA：用于模型预训练的新型 Web 规模问答数据集

    本文提出一种在Common Crawl项目的基础上，使用大规模、自然、多样化问答数据集进行领域内预训练的方法，该方法可以用于open-domain question-answering任务中的零样本、低资源和微调设置，展示了预训练在该任务中的潜力。

    Oct, 2021

  • 现代问答数据集和基准:一项调查

    本文调查了在深度学习时代发布的有影响力的问答数据集，并介绍了文本问答和视觉问答两个最常见的问答任务，涵盖了最具代表性的数据集，并提出了当前的一些QA研究挑战。

    Jun, 2022

  • 基于阅读理解的跨语言知识库问答

    该研究对多语言信息处理领域中的跨语言问答问题进行了研究：提出了一种基于阅读理解范式的知识库子图到问题的转换方法，利用汽车预训练语言模型和跨语言阅读理解技术进行跨语言阅读理解，基于现有的高质量跨语言阅读理解数据集进一步优化模型，为跨语言问答领域提供了一种有效、高效的方法。

    Feb, 2023

  • 自然语言处理方法在问题难度估计中的定量研究

    本研究通过定量分析之前研究中提出的几种方法，比较它们在三个不同教育领域包含不同类型问题的公开真实数据集上的表现，发现基于Transformer的模型在跨不同教育领域的MCQs、科学题和数学题等方面表现最佳，超越其他方法甚至在较小的数据集上也表现得更好。

    May, 2023

  • 多项选择数据集能否用于抽取式问答？

    我们重新利用Belebele数据集，将其用于机器阅读理解中的抽取式问答任务，从而解决资源匮乏语言中的数据标注问题，并为英语和现代标准阿拉伯语（MSA）提供了平行的抽取式问答数据集，并在多种单语和跨语言的问答对中进行了评估和分析。

    Apr, 2024

  • 基于提示的少样本问答合成数据生成

    使用大型语言模型在少样本学习Set中提高问题回答的性能。

    May, 2024

  • 论证还是简单的下一个令牌预测？用于对大型语言模型进行压力测试的基准

    我们提出了MMLU-SR，这是一个新颖的数据集，旨在通过在问题回答任务中使用修改后的术语挑战大型语言模型（LLMs）的性能来测量其真实的理解能力。尽管最近流行的LLMs在MMLU排行榜上获得了高分，但我们发现在这种替换后模型的性能大幅下降，暗示了其理解能力较差。这个新的基准提供了一个严格测试真实模型理解能力的基准，并向广大科学界提出了挑战。

    Jun, 2024