ACLMay, 2023

Open-WikiTable: 一个用于开放域复杂推理表格问答的数据集

PDF
TL;DR本研究释出了 Open-WikiTable 数据集，开创了第一个需要对表格进行复杂推理的开放域问题回答（ODQA）数据集，旨在通过对 WikiSQL 和 WikiTableQuestions 的集成，更好地利用表格的结构性质。
open domain question answeringtablesodqa datasetcomplex reasoningwikitablequestions
发现论文，激发创造
  • 通过语法和结构感知的密集检索增强开放域表格问答

    提出了一种语法和结构感知的开放域表格问题回答方法，通过提供问题的语法表示和利用表格的结构头部和数值表示来避免细粒度的句法和结构信息丢失，实验结果表明该方法在 NQ-tables 数据集上达到了最先进的效果，并在一个新的开放域 Text-to-SQL 数据集上超越了强基线。

    Sep, 2023

  • 航空行业复杂表格的问答数据集

    该研究主要介绍了一个针对航空业公司数据集的领域特定的表格问答数据集 AIT-QA，分析了使用 Transformer 模型进行 Table QA 的现有方法在处理领域特定的表格数据时面临的挑战，并提出了一些实用的表格预处理步骤。

    Jun, 2021

  • 基于密集检索的表格开放领域问答

    本研究针对开放领域问题回答系统的表格数据提出了一种有效的检索方法，并通过训练和挖掘难例等技术，提高了回答的准确性和表现。

    Mar, 2021

  • FeTaQA：自由形式表格问答

    本篇论文介绍了 FeTaQA 数据集，该数据集包含 10K 个基于维基百科的 {表格，问题，自由形式答案，支持表格单元格} 对，可以用于进行表格问答系统的复杂推理和信息集成；并提出了一个基于语义解析的 QA 系统和一个基于大型预训练文本生成模型的端到端方法来处理该任务。

    Apr, 2021

  • 面向开放域问答的混合文本和表格证据的双重阅读器 - 解析器

    本文提出一种混合型框架，将文本和表格式证据作为输入，根据问题生成直接答案或 SQL 查询，并在几个开放领域问题回答（ODQA）数据集上表现出了明显优于基线模型的表现。在详细的分析中，证明生成结构化 SQL 查询将始终带来收益，尤其是对于那些需要复杂推理的问题。这是第一个将 Text2SQL 应用于 ODQA 任务的论文。

    Aug, 2021

  • TANQ: 一个开放领域的表格问答数据集

    TANQ 是第一个需要从多个源中提取信息构建表格作为答案的开放领域问题回答数据集，我们在开放、正式和闭卷的场景中使用顶尖的语言模型进行评测，最好的基准模型 GPT4 的综合 F1 得分为 29.1，相较于人类表现差了 19.7 个百分点，我们分析了在这个任务中所需的不同技能以及模型生成答案的常见失败，指出 TANQ 是一个具有许多挑战的复杂任务。

    May, 2024

  • 一种带有统一知识接口的开放领域问答系统

    本文提出了一种基于数据和文本的统一问答框架 UDT-QA，并使用数据到文本方法将 Wiki 百科中的表格和 Wikidata 中的图表达为口语化信息，以扩展知识索引。实验证明，该方法取得了自然问答 (Single-model state-of-the-art) 的最佳成果，并表明对于调整和热插拔的两种情况，口语化知识的优先考虑可以优化答案推理。

    Oct, 2021

  • TableQA：一个用于表感知 SQL 生成的大规模中文文本到 SQL 数据集

    本文介绍了 TableQA dataset 及其挑战性和必要性，探讨了解决不同条件值表述和表格外查询的问题的两种基于表格知识的方法，并给出实验结果。

    Jun, 2020

  • 朝向稳健评估：大语言模型时代开放领域问答数据集和度量的综合分类

    本研究通过对 52 个数据集和 20 种评估技术进行综述，详细研究了当前开放域问题回答领域的现状，提出了一种包含问题类型的多模态数据集新分类法，并对评估指标进行结构化整理和批判性分析，旨在为现代问答系统的强大评估提供框架，并指出了当前的挑战和未来研究发展的有希望的方向。

    Jun, 2024

  • KET-QA：用于知识增强表格问答的数据集

    这篇论文介绍了一种使用知识库作为表格问答的外部知识源，并构建了一个带有精细化知识注释的数据集 KET-QA。通过设计检索 - 推理结构化流水线模型，实验结果表明，该模型在三个不同场景（微调、零样本和少样本）中相对性能提升范围为 1.9 至 6.5 倍，绝对性能提升范围为 11.66% 至 44.64%。然而，即使是最好的模型也只达到了 60.23% 的 EM 得分，仍然落后于人类水平，突显了 KET-QA 对问答研究领域的挑战性。

    May, 2024