TableQA:一个用于表感知 SQL 生成的大规模中文文本到 SQL 数据集
该研究主要介绍了一个针对航空业公司数据集的领域特定的表格问答数据集 AIT-QA,分析了使用 Transformer 模型进行 Table QA 的现有方法在处理领域特定的表格数据时面临的挑战,并提出了一些实用的表格预处理步骤。
Jun, 2021
利用生成模型将自然语言问题转换成 SQL 查询,并通过考虑表格结构和 SQL 语法来提高查询的可执行性和准确性。在 WikiSQL 数据集上进行实验,将执行准确率从 69.0%提高到 74.4%。
Apr, 2018
本篇论文介绍了 FeTaQA 数据集,该数据集包含 10K 个基于维基百科的 {表格,问题,自由形式答案,支持表格单元格} 对,可以用于进行表格问答系统的复杂推理和信息集成;并提出了一个基于语义解析的 QA 系统和一个基于大型预训练文本生成模型的端到端方法来处理该任务。
Apr, 2021
本文构建了韩国特定的数据集,包括 1.4M 个表和 70k 个问题。建立了基于 Transformer 的预训练语言模型以及针对这些数据集进行的表问答模型的微调。
Jan, 2022
TANQ 是第一个需要从多个源中提取信息构建表格作为答案的开放领域问题回答数据集,我们在开放、正式和闭卷的场景中使用顶尖的语言模型进行评测,最好的基准模型 GPT4 的综合 F1 得分为 29.1,相较于人类表现差了 19.7 个百分点,我们分析了在这个任务中所需的不同技能以及模型生成答案的常见失败,指出 TANQ 是一个具有许多挑战的复杂任务。
May, 2024
本文提出了一种新的多表问题回答模型,称作 MultiTabQA,除了回答多表问题外,还能生成表格回答。为了实现有效的训练,我们构建了一个包括 132,645 个 SQL 查询和表格回答的预训练数据集。通过引入不同严格程度的特定于表格的评估指标,我们评估了生成的表格。经过在三个数据集(Spider、Atis 和 GeoQuery)上微调后,MultiTabQA 优于在多表 QA 环境中改编成的最先进的单表 QA 模型。
May, 2023
本文探讨了实现自然语言查询现实关系数据库的挑战,提出了一个新的跨领域评估数据集 KaggleDBQA,并通过引入数据库文档等隐含领域知识的方法,将现有模型的准确性提高了 13.2%。
Jun, 2021
这篇论文介绍了一种使用知识库作为表格问答的外部知识源,并构建了一个带有精细化知识注释的数据集 KET-QA。通过设计检索 - 推理结构化流水线模型,实验结果表明,该模型在三个不同场景(微调、零样本和少样本)中相对性能提升范围为 1.9 至 6.5 倍,绝对性能提升范围为 11.66% 至 44.64%。然而,即使是最好的模型也只达到了 60.23% 的 EM 得分,仍然落后于人类水平,突显了 KET-QA 对问答研究领域的挑战性。
May, 2024
通过开发 Text2Analysis 基准和创新的注释方法,我们展示了在表格数据分析领域中大规模语言模型的潜力,以推动进一步的研究机会。
Dec, 2023
通过生成可执行程序的方式来回答表格问题(TableQA)一直面临的挑战是适应各种表格结构,通常需要特定领域的逻辑形式。为此,本文引入了一个统一的 TableQA 框架,该框架:(1)以多索引 Pandas 数据帧的形式提供结构化表格的统一表示;(2)使用 Python 作为强大的查询语言;(3)使用少样本提示将自然语言问题转化为可在 Pandas 数据帧上执行的 Python 程序。此外,为了回答复杂的关系性问题并具备扩展程序功能和外部知识,我们的框架允许自定义的 API,供 Python 程序调用。我们在涉及不同结构的四个 TableQA 数据集上进行了实验 —— 关系型、多表格和分层矩阵形式 —— 并在过去最先进系统的基础上取得了显著的改进。在消融研究中,我们表明相比只使用 LLM 的基线方法,我们的多索引表示和 API 可以带来好处;同时,我们还证明了我们的方法是模块化的,可以整合其他的 API。
Oct, 2023