本篇论文提出了一种建立对话式问答系统的新数据集 CoQA，包含来自七个不同领域的 8,000 个对话中 127,000 个具有答案的问题，分析表明，这些问题比现有的阅读理解数据集具有更多挑战性和难点，需要针对性的解决方案，评测结果显示目前最好的系统 F1 得分为 65.4％，仍然有大量的改进空间。

Aug, 2018

为了增加推理能力，我们通过四个阶段的过程收集有超过 10,000 篇 CNN 新闻文章的人类生成的问题 - 答案对的数据集 NewsQA，该数据集超过 100,000 个 QA 对，由众包工人提供，答案包含想对应文章的文本内容片段。人类的表现比现有神经模型的性能更好，这表明未来的研究可以在 NewsQA 上取得显著的进展。

Nov, 2016

通过构建名为 LogiQA 的全面数据集，了解了人类逻辑推理能力方面的基本能力在机器阅读中如何得到充分研究。结果表明，最先进的神经模型远不及人类的水平。其数据集也可作为深度学习 NLP 环境下重新研究逻辑 AI 的基准。

Jul, 2020

大型语言模型在理解否定时表现亚优，本研究通过引入一个大规模自动生成的常识知识数据集，涉及到约 40 万个描述性句子，其中大约 2/3 的句子包含否定形式，使用零样本学习方法对现有开源语言模型进行测试，结果表明尽管模型对于肯定的句子有较高准确性，但在否定句子方面存在困难，缺乏深入理解否定的能力。尽管在否定句子上对模型进行微调可以提高其性能，但在处理否定方面仍然存在泛化能力不足的问题，突显出大型语言模型在否定理解和泛化方面仍面临挑战。

Oct, 2023

本文旨在探讨预训练语言模型在常识推理数据集中的可靠性和全面性，并提出了一个新的包含自然语言真 / 假语句对的常识推理基准数据集，通过对不同维度的领域的知识、推理场景以及数学的设计来促进常识能力的系统分析，并设计了成对精度度量标准来可靠地衡量代理的常识推理能力。实验结果表明，我们最强的基线模型在微调后达到了约 71％的标准准确性和约 51％的成对准确性，远低于人类表现。

Jun, 2021

该论文探讨了利用自然语言处理技术进行非结构化文本的自动推理。研究表明，语言模型具有复杂的推理能力。然而，当推理真实世界中不一致或矛盾的信息时，需要采用一种策略来解决这种冲突。采用对信息来源的偏好以及执行更高偏好的源的方式来解决冲突是一种普遍适用的方法。该论文提出了 “BoardgameQA” 数据集来测试语言模型的推理能力，结果表明当前最新技术的语言模型在处理相互矛盾的信息时存在显著差距。

Jun, 2023

负面词是一种常见的语言现象。然而，语言模型在许多自然语言理解任务（如问答和自然语言推理）中都面临负面词的挑战。本文中，我们尝试使用无否定的解释（即，没有负面申述的释义）来制定无差错策略，以使模型对负面词更加强大。关键是，我们的无否定解释是自动获取的。我们在 CondaQA（一个需要利用负面词进行推理的大型语料库）以及五个自然语言理解任务中展示了改进。

Jun, 2024

本文研究分析了 6 个自然语言理解的任务中，八个流行的语料库中的否定词的使用情况，指出这些语料库中的否定词较少且不重要，而最新的 transformers 在处理含有重要的否定词的实例时表现不佳，因此需要新的包含否定词的语料库来解决自然语言理解任务中的问题。

Mar, 2022

本文介绍 CONDA 数据集，它是一个包含了来自 1.9K 完成的 Dota 2 比赛聊天记录的 12K 个对话和 45K 个话语的数据集，用于进行游戏中毒性语言的检测和自然语言理解。同时提出了一种鲁棒的双语义级毒性框架，能够处理话语和单词级别的模式和上下文历史。评估了针对 CONDA 的强 NLU 模型，提供了不同意图类别和插槽类别的细粒度结果，并通过与其他毒性数据集的比较检查了本数据集中毒性的覆盖范围。

Jun, 2021

本文介绍了 Cosmos QA，这是一个大规模的基于常识的阅读理解数据集，旨在帮助机器阅读人们日常故事时理解其中的隐含意思，并提出了一种新的神经网络结构来处理此类问题。实验结果表明，机器与人类的阅读理解性能存在明显差距，因此还需要进一步研究。

Aug, 2019