介绍了第一个开放领域的定性关系数据集 QuaRTz，用于推理文本定性关系。QuaRTz 包含一般的定性陈述，结合 3864 个众包定位问题，对应的是类似 “Billy 涂有比 Lucy 更低 SPF 的防晒霜。谁的皮肤最好受保护？” 的问题，以及被比较对象的注释。与以往的数据集不同，一般知识是文本而不是固定的关系集，并且在新颖环境中测试系统理解和应用文本定性知识的能力。实验结果表明，最先进的结果比人类表现低得多（20％），这是自然语言处理社区的一个开放挑战。

Sep, 2019

本文通过使用 generate-validate 框架，即生成逻辑形式的自然语言描述，并验证该自然语言描述是否符合输入文本，展示了更好的迁移学习范围，相较于现有基于语义分析器的方法，本方法取得了 7.93% 的更高性能。

Aug, 2019

本研究通过将定性关系任务分类成预测和比较两种类型，并采用端到端训练的神经网络模块来模拟这两种推理过程，实验结果在两个问答数据集 QuaRTz 和 QuaRel 上展示了我们方法的有效性和泛化能力，并提供模块的中间输出来使推理过程更容易解释。

Jun, 2021

本文介绍了一种基于酒店评论的问题回答数据集 ReviewQA，旨在评估模型的关联理解和能力，并提供了几种基线模型的实现。

Oct, 2018

探索和量化语义相关性对于表示语言至关重要，它对各种 NLP 任务具有重要意义，包括提供关于大型语言模型能力和性能的见解。本文介绍了 SemRel，这是一个由母语为 14 种语言的本土人士进行注释的新的语义相关性数据集收集项目。每个实例都是一个句子对，并与表示两个句子之间语义文本相关性程度的分数相关联。分数是通过比较性注释框架获得的。我们描述了数据收集和注释过程、构建数据集时的相关挑战以及它们在 NLP 中的影响和实用性。我们还报告了对每种语言以及不同语言之间进行的实验。

Feb, 2024

本研究提出了多模态关系理解（MMRel）数据集，其中包含大规模、高质量和多样化的数据，用于研究多模态大型语言模型在关系理解方面的能力，并证明了 MMRel 数据集的有效性。

Jun, 2024

我们提出了 FewRel 数据集，其中包含来自维基百科的 100 种关系中的 70,000 个句子，这些句子由群众工作者进行注释。我们针对关系分类采用了最新的 Few-Shot Learning 方法，并对这些方法进行了全面的评估。实证结果表明，即使是最具竞争力的少样本学习模型也很难完成此任务，这表明 Few-Shot Learning 在关系分类方面仍然存在着问题，需要进一步的研究。

Oct, 2018

本文提出了一种基于神经信息检索和重新排名的自动问答系统，利用包含 6.3M 问题和回答对的数据库，实现了开放域问答并超越了传统的非结构化文本或图形搜索方法，并证明了基于 Transformer 模型的 (q,a) 对比仅考虑问题表示更优，该方法具有和在 BING 搜索引擎上构建的 QA 系统竞争的优点。

Mar, 2023

本文比较了三个新的问答数据集：SQuAD 2.0、QuAC 和 CoQA，在新特性（如无法回答的问题、多轮交互和摘要回答）方面进行了比较，并展示了这些数据集提供了互补性的覆盖率，但在回答的摘要方面覆盖率较弱。作者表明，由于数据集的结构相似，可以很容易地将单个选取模型适应于任何数据集，并展示了 SQuAD 2.0 和 CoQA 上的改进基线结果。尽管相似，但在一个数据集上训练的模型对另一个数据集是无效的，但我们通过预训练找到了适量的性能提升。为了鼓励交互评估，我们在此 https URL 上公开了数据集转换的代码。

Sep, 2018

本文提出了超关系实体抽取（hyper-relational extraction）的任务，并设计了适用于该任务的 CubeRE 模型，该模型能够处理关系三元组及其限定词之间的交互，并在 HyperRED 数据集上取得了优于基线模型的效果。

Nov, 2022