Feb, 2023

Orca: 中文对话式机器阅读理解的小样本评测

PDF
TL;DR本篇论文提出了第一个中文对话阅读理解基准 Orca，并提供了零样本 / 少样本设置来评估模型的领域通用能力，包含社交媒体平台上 33 个领域的 831 个热门话题驱动的对话，并实现了三个强基线模型来解决 Orca 中的挑战。
conversational machine reading comprehensionchinese cmrc benchmarkzero-shot/few-shotnatural responsessocial media platform
发现论文，激发创造
  • 面向端到端的开放对话式机器阅读

    本文介绍了一种基于完全端到端的方式将开放检索对话式机器阅读（OR-CMR）建模为一个统一的文本到文本任务，并在 OR-ShARC 数据集上展示了其在两个子任务上的显著有效性和创新的最先进结果。

    Oct, 2022

  • 首届中文机器阅读理解评测数据集

    本文提出了一种新的中文阅读理解数据集 —— 包括选择题和用户问题阅读理解，并且是人工验证和隐藏测试集的大规模训练数据。同时，还举办了首届中文机器阅读理解评估（CMRC-2017），成功吸引了数十名参与者。

    Sep, 2017

  • 一份中文机器阅读理解句子填空数据集

    本文提出了一个新的任务 —— 句子填空式机器阅读理解，并构建了一个 Chinese dataset called CMRC 2019 来衡量该任务的难度。结果表明，目前先进的预训练模型仍然无法达到人类的水平。

    Apr, 2020

  • 中文阅读理解的自然回答生成

    该研究构建了一个名为 Penguin 的新数据集，用于促进自然反应生成的 MRC 研究，并提供训练和测试场地。研究人员通过对机器阅读理解模型的测试，采用基于前缀提示的模型，证明了该模型的有效性。

    Feb, 2023

  • 对话式机器阅读理解：文献综述

    本文综述了近期在对话机器理解方面最常见的趋势和方法，强调了处理对话历史的不同方法，并提供了一个综合框架，以指导未来对于 Conversational Machine Comprehension 的研究。

    Jun, 2020

  • ORB: 一个开放的阅读基准评估工具，用于机器阅读理解的全面评估

    介绍了一种评估服务器 ORB，可以测试模型在 7 个不同的阅读理解数据集上的表现，并且没有制约模型训练的限制，这是一个探索通用阅读能力的训练范式和表征学习的测试平台。

    Dec, 2019

  • 评估跨语言机器阅读理解能力的 XCMRC 模型

    XCMRC 是第一个公开的跨语言理解基准，用于测试机器的跨语言阅读理解能力，其中中英文是丰富资源的语言对，为了研究低资源的跨语言机器阅读理解，除定义通用的任务外，我们还限制了可使用的语言资源来定义了一项伪低资源任务。

    Aug, 2019

  • 综述会话式阅读理解

    本研究通过对话式阅读理解，研究了利用评论构建一个能够回答在线商业潜在消费者多轮问题的代理的新任务。该研究首先构建了一个评论 CRC 数据集，然后在语言模型（例如 BERT）预训练和领域特定的微调之间提出了一种新的任务感知预调优步骤。该预调优不需要数据注释，但可以极大地提高我们的最终任务的性能。实验结果表明，所提出的方法效果显著，并具有与受监督方法竞争的性能。

    Feb, 2019

  • ORCA：阿拉伯语言理解挑战基准

    介绍了一个公开的基准测试 ORCA 用于评估阿拉伯语言理解，利用 60 个数据集跨越 7 个 NLU 任务簇，用 ORCA 评估了 18 个多语言和阿拉伯语言模型，提供了一个统一的单一数字评估指标。

    Dec, 2022

  • 评估机器阅读理解数据集的基准测试能力

    本篇研究提出了一种半自动化的消融实验方法，通过检查即使除去与语言理解相关的特征后是否仍然能回答问题，来评估语言理解能力挑战数据集的性能，实验结果表明，很多问题并不需要语法复杂的推理，为了精准评估 MRC 数据集，需要在设计时额外注意。

    Nov, 2019