ICLRFeb, 2020

ReClor：需要逻辑推理的阅读理解数据集

PDF
TL;DR本研究旨在引入一个新的、需要逻辑推理的阅读理解数据集（ReClor），以推动对文本更全面的推理。实证研究结果表明，针对存在偏见的数据点并将其分为简单和困难集合，可对模型的逻辑推理能力进行全面的评估，从而在提高模型性能的同时，推动领域内更多的研究。
pre-trained language modelsreading comprehensionlogical reasoningdataset evaluationmodel performance
发现论文，激发创造
  • LogiQA：面向机器阅读理解的逻辑推理挑战数据集

    通过构建名为 LogiQA 的全面数据集，了解了人类逻辑推理能力方面的基本能力在机器阅读中如何得到充分研究。结果表明，最先进的神经模型远不及人类的水平。其数据集也可作为深度学习 NLP 环境下重新研究逻辑 AI 的基准。

    Jul, 2020

  • 逻辑驱动的上下文扩展和数据增强用于文本逻辑推理

    本研究提出了一种理解文本中逻辑符号和表达式以得出答案的方法，并基于此提出了一种扩展文本上下文的框架和一种数据增广算法，可以更好地捕捉逻辑信息，特别是关于逻辑否定和条件关系，结果表明这种方法在 ReClor 数据集上实现了最先进的性能，多模型集成系统是第一个在 ReClor 的 EASY 和 HARD 数据集上超过人类表现的系统。

    May, 2021

  • 大规模语言模型对于超领域逻辑推理任务的系统评估

    大型语言模型在逻辑推理任务中的泛化性和鲁棒性评估及改善的研究。

    Oct, 2023

  • 逻辑阅读理解中临时推理理解的评估

    为了准确评估语言模型在逻辑阅读理解方面的能力，我们提供了一个用于测试关键推理理解的数据集。通过从现有的多项选择逻辑阅读理解数据集中选取问题，我们众包了解释选择或排除答案选项的理由，结果得到了与 943 个主要问题相关联的 3003 个多项选择子问题。对我们的数据集进行的实验表明，最近的大型语言模型（如 InstructGPT）在回答多项选择子问题时面临困难，即使它们能够正确回答主要问题。我们发现，该模型在回答针对主要问题的错误选项而编写的子问题时表现特别糟糕，这意味着该模型对解释为什么应该排除错误选项的能力有限。这些结果表明，我们的数据集鼓励进一步研究语言模型的关键推理能力，重点关注相关的备选项排除过程。

    Nov, 2023

  • ReCoRD: 人机常识阅读理解之桥

    本文介绍了一种称为 ReCoRD 的大型数据集，并在此基础上展示了机器阅读理解需要常识推理，即目前最先进的 MRC 系统表现远远落后于人类，因此该数据集为未来的研究提供了一个挑战，以弥合人类和现有机器的常识阅读理解之间的差距。

    Oct, 2018

  • ReCO：一个关于观点的大规模中文阅读理解数据集

    本文介绍了以意见为主题的 ReCO 数据集，该数据集是目前中文阅读理解数据集中最大的，其中需要进行因果推理、逻辑推理等各种推理技能。与传统数据集不同的是，ReCO 除了提供上下文段落外，还提供支持证据，这为机器阅读理解提供了很好的挑战。

    Jun, 2020

  • Quoref：一个需要共指推理的阅读理解数据集

    提供一个新的众包数据集，用于多句理解文本，涉及复杂的指代消解，旨在评估阅读模型解决指代消解的能力，与现有的基准模型相比，该模型表现显著更好。

    Aug, 2019

  • CLEVR：一个用于组合语言和初级视觉推理的诊断数据集

    通过建立人工智能系统，以便对视觉数据进行推理和回答问题，我们需要有诊断测试来分析进展并发现缺点。该研究提出了一种诊断数据集，测试了各种视觉推理能力，包含最小的偏差并具有详细注释，描述每个问题需要的推理类型，用于分析各种现代视觉推理系统，提供了新的洞见，以及它们的能力和限制。

    Dec, 2016

  • RACE: 大规模考试阅读理解数据集

    RACE 是一个用于中学生阅读理解任务评估的新数据集，由近 28,000 个人类专家（英语教师）生成的近 100,000 个问题组成，涵盖了各种主题，特别是对推理的要求比其他基准数据集要高，是研究和评估机器理解的有价值的资源。

    Apr, 2017

  • MERIt: 基于元路径引导的对比学习用于逻辑推理

    通过 MEta-path 引导对比学习方法为文本逻辑推理提供自监督的预训练，在自然语言理解中解决语料库稀疏性导致的过度拟合和泛化问题。

    Mar, 2022