Oct, 2023

TableQAKit：一套全面实用的基于表格的问题回答工具包

PDF
TL;DRTableQAKit 是第一个专门设计用于 TableQA 的综合工具包，它提供了丰富的 TableQA 数据集、集成了流行的方法和大型语言模型，并且在一些数据集上实现了新的最佳性能，同时还提供了一个基于大型语言模型的 TableQA 基准测试。
table-based question answeringtableqakitcomprehensive toolkittableqa datasetslarge language models
发现论文，激发创造
  • 表格问答调查：最新进展

    该研究调查了目前表格问答的数据集和方法，并将现有的表格问答方法分类为五类，即基于语义解析的、生成式的、提取式的、基于匹配的和检索式的方法。此外，研究还提出了该领域的一些主要挑战和未来方向。

    Jul, 2022

  • BioTABQA: 医学表格问答的指令学习

    本文在生物医学领域维度构建了一个表格问答数据集 BioTABQA，包含 22 个模板和上下文中的信息。通过该数据集，本文提出了一种基于指导学习的方法，在多个评估方式下，该方法比单一和多任务基线模型表现提高约 23% 和 6%。最重要的是，在跨任务方面，该方法的性能比基线模型提高了约 5%。

    Jul, 2022

  • 航空行业复杂表格的问答数据集

    该研究主要介绍了一个针对航空业公司数据集的领域特定的表格问答数据集 AIT-QA，分析了使用 Transformer 模型进行 Table QA 的现有方法在处理领域特定的表格数据时面临的挑战，并提出了一些实用的表格预处理步骤。

    Jun, 2021

  • MultiTabQA：为多表问答生成表格答案

    本文提出了一种新的多表问题回答模型，称作 MultiTabQA，除了回答多表问题外，还能生成表格回答。为了实现有效的训练，我们构建了一个包括 132,645 个 SQL 查询和表格回答的预训练数据集。通过引入不同严格程度的特定于表格的评估指标，我们评估了生成的表格。经过在三个数据集（Spider、Atis 和 GeoQuery）上微调后，MultiTabQA 优于在多表 QA 环境中改编成的最先进的单表 QA 模型。

    May, 2023

  • KET-QA：用于知识增强表格问答的数据集

    这篇论文介绍了一种使用知识库作为表格问答的外部知识源，并构建了一个带有精细化知识注释的数据集 KET-QA。通过设计检索 - 推理结构化流水线模型，实验结果表明，该模型在三个不同场景（微调、零样本和少样本）中相对性能提升范围为 1.9 至 6.5 倍，绝对性能提升范围为 11.66% 至 44.64%。然而，即使是最好的模型也只达到了 60.23% 的 EM 得分，仍然落后于人类水平，突显了 KET-QA 对问答研究领域的挑战性。

    May, 2024

  • TableVQA-Bench: 多表领域上的视觉问答基准

    本文介绍了一个名为 TableVQA-Bench 的基准，用于表格视觉问答，该基准由现有的表格问答和表格结构识别数据集派生而来。通过使用样式表或提出的表格渲染系统，获取图像，并通过利用大型语言模型生成 QA 问题。我们在 TableVQA-Bench 上全面比较了不同的多模态大型语言模型的性能，其中 GPT-4V 在商业和开源的多模态大型语言模型中表现最高的准确率。研究结果表明，对于 TableVQA 而言，视觉输入的处理比文本输入更具挑战性。

    Apr, 2024

  • 针对多样的表结构的问题回答辅助代码生成

    通过生成可执行程序的方式来回答表格问题（TableQA）一直面临的挑战是适应各种表格结构，通常需要特定领域的逻辑形式。为此，本文引入了一个统一的 TableQA 框架，该框架：（1）以多索引 Pandas 数据帧的形式提供结构化表格的统一表示；（2）使用 Python 作为强大的查询语言；（3）使用少样本提示将自然语言问题转化为可在 Pandas 数据帧上执行的 Python 程序。此外，为了回答复杂的关系性问题并具备扩展程序功能和外部知识，我们的框架允许自定义的 API，供 Python 程序调用。我们在涉及不同结构的四个 TableQA 数据集上进行了实验 —— 关系型、多表格和分层矩阵形式 —— 并在过去最先进系统的基础上取得了显著的改进。在消融研究中，我们表明相比只使用 LLM 的基线方法，我们的多索引表示和 API 可以带来好处；同时，我们还证明了我们的方法是模块化的，可以整合其他的 API。

    Oct, 2023

  • 生成、转换、回答：面向表格数据的问题特定工具综合

    本文提出了 ToolWriter 算法，针对 tabular question answering 中信息丢失问题，生成查询特定的程序并检测何时将它们应用于转换表格以与 TQA 模型的能力对齐。使用 ToolWriter 生成的行过滤器工具，提高了 WikiTableQuestions 和 WikiSQL 数据集的性能。同时揭示了结构化数据中潜在的程序化工具与神经元件相结合的潜力。

    Mar, 2023

  • 先增强后实践：通过表格扩展实现知识增强问答

    本研究提出了一种简单而有效的方法，用于在给定的表格中集成外部信息，通过构建一个包含缺失信息的增强表格，然后生成两个表格的 SQL 查询来回答问题。实验证明，我们的方法在三个表格问答基准测试上优于强基准模型。

    Jan, 2024

  • FeTaQA：自由形式表格问答

    本篇论文介绍了 FeTaQA 数据集，该数据集包含 10K 个基于维基百科的 {表格，问题，自由形式答案，支持表格单元格} 对，可以用于进行表格问答系统的复杂推理和信息集成；并提出了一个基于语义解析的 QA 系统和一个基于大型预训练文本生成模型的端到端方法来处理该任务。

    Apr, 2021