ACLFeb, 2024

Archer：一个包含算术、常识和假设推理的人工标注文本到 SQL 的数据集

PDF
TL;DRArcher 是一个具有挑战性的双语文本转 SQL 数据集，专注于复杂推理，包括算术、常识和假设推理。它包含 1042 个英文问题和 1042 个中文问题，以及 521 个不同的 SQL 查询，涵盖了 20 个英文数据库在 20 个领域中。该数据集相比现有公开数据集具有明显更高的复杂性。通过我们的评估，Archer 挑战了当前最先进模型的能力，目前在 Archer 测试集上排名最高的模型仅达到 6.73％的执行准确率。因此，Archer 对未来在该领域的研究提出了重要挑战。
发现论文，激发创造
  • AI2 推理挑战：挑战你的问答解决能力，你认为你解决了吗？

    这篇论文介绍了一个基于科学问题的 AI2 Reasoning Challenge（ARC）的新问题集、文本语料库和基线模型的构建，这需要比之前的挑战如 SQuAD 或 SNLI 更强大的知识和推理能力，包含了自然、初中科学问题的最大公共数据集，并测试了几种基线模型，但没有一种能够有效地解决这个艰巨的任务。

    Mar, 2018

  • ARC 数据集中知识、推理和语境的系统分类

    本文提出了一套完整的科学问题解答所需的知识和推理类型定义方法，回答 ARC 数据集中的问题需要的标注信息分布和相关统计的分析，证明了人工选取的相关句子能够提高神经机器理解模型的 42 个百分点的性能。

    Jun, 2018

  • 阿拉伯语文本到 SQL 的 Ar-Spider

    在本文中，我们介绍了 Ar-Spider 1，即第一个阿拉伯跨域文本到 SQL 数据集。为了解决语言本质相关的问题，我们采用了两个基线模型 LGESQL 和 S2SQL，并提出了上下文相似性关系（CSR）方法，该方法显著提高了阿拉伯文本到 SQL 的整体性能。

    Feb, 2024

  • KG^2: 使用上下文知识图嵌入学习科学考题推理

    本文提出了一种新的答题框架，其使用两个上下文知识图谱中的神经嵌入来解决自然科学考试问题，该模型在 AI2 Reasoning Challenge 上表现出优异的性能。

    May, 2018

  • Spider: 复杂跨领域语义解析和文本到 SQL 任务的大规模人类标注数据集

    介绍了 Spider 数据集，它是由 11 名大学生注释的大规模、复杂和跨领域的语义分析和文本到 SQL 数据集，涵盖了 200 个数据库中的 138 个不同领域，区别于以往单一数据库且训练集和测试集中使用相同程序的语义分析任务，需要模型具有良好的泛化能力适应新的 SQL 查询和新的数据库架构，经过实验发现最好的模型仅在数据库分割设置上达到了 12.4％的精准匹配准确度，因此结果提出了未来研究的深厚挑战。

    Sep, 2018

  • Spider4SPARQL: 评估知识图谱问答系统的复杂基准

    介绍了一种新的 SPARQL 基准数据集 Spider4SPARQL，包含 9693 个人工生成的 NL 问题和 4721 个独特、新颖且复杂的 SPARQL 查询，以及对应的 166 个知识图和本体，用于评估现代 KGQA 系统的优势和不足之处。

    Sep, 2023

  • 挑战 ARC-DA：测试你的直接回答问答解决方案

    ARC-DA 数据集通过众包与专家审查，将 ARC 多项选择数据集转化为直接回答形式。该数据集包含 2985 个问题，其中至少有 8436 个有效答案，并在自然问题推理中寻找了新的研究方向。

    Feb, 2021

  • TableQA：一个用于表感知 SQL 生成的大规模中文文本到 SQL 数据集

    本文介绍了 TableQA dataset 及其挑战性和必要性，探讨了解决不同条件值表述和表格外查询的问题的两种基于表格知识的方法，并给出实验结果。

    Jun, 2020

  • 文本数据库推理

    我们提出了一种模块化架构来支持处理数据库查询，并在 WikiNLDB 数据集上进行了评估，结果表明我们的方法可以扩展到包含数千个事实的数据库，并将整体答案准确率从 85％提高到 90％。

    Jun, 2021

  • 通过语言进行视觉抽象和推理

    本研究提出了一种基于自然语言描述任务的方法框架来解决人工智能中的 Abstraction and Reasoning Corpus (ARC) 问题，虽然尚未击败当前最先进的 DSL 模型，但我们证明了我们的方法具有巨大的潜力，可以解决以前不能解决的任务。

    Mar, 2023