EMNLPOct, 2023

针对多样的表结构的问题回答辅助代码生成

PDF
TL;DR通过生成可执行程序的方式来回答表格问题（TableQA）一直面临的挑战是适应各种表格结构，通常需要特定领域的逻辑形式。为此，本文引入了一个统一的 TableQA 框架，该框架：（1）以多索引 Pandas 数据帧的形式提供结构化表格的统一表示；（2）使用 Python 作为强大的查询语言；（3）使用少样本提示将自然语言问题转化为可在 Pandas 数据帧上执行的 Python 程序。此外，为了回答复杂的关系性问题并具备扩展程序功能和外部知识，我们的框架允许自定义的 API，供 Python 程序调用。我们在涉及不同结构的四个 TableQA 数据集上进行了实验 —— 关系型、多表格和分层矩阵形式 —— 并在过去最先进系统的基础上取得了显著的改进。在消融研究中，我们表明相比只使用 LLM 的基线方法，我们的多索引表示和 API 可以带来好处；同时，我们还证明了我们的方法是模块化的，可以整合其他的 API。
发现论文，激发创造
  • MultiTabQA：为多表问答生成表格答案

    本文提出了一种新的多表问题回答模型，称作 MultiTabQA，除了回答多表问题外，还能生成表格回答。为了实现有效的训练，我们构建了一个包括 132,645 个 SQL 查询和表格回答的预训练数据集。通过引入不同严格程度的特定于表格的评估指标，我们评估了生成的表格。经过在三个数据集（Spider、Atis 和 GeoQuery）上微调后，MultiTabQA 优于在多表 QA 环境中改编成的最先进的单表 QA 模型。

    May, 2023

  • DataFrame QA：DataFrame 问答的通用 LLM 框架，无需数据暴露

    本文介绍了 DataFrame 问答（QA）这一新颖任务，利用大型语言模型（LLMs）为数据框生成安全、保密的 Pandas 查询，以进行信息检索和数据分析。我们的方法仅依赖于数据框的列名，既确保数据隐私，也显著减少了提示的上下文窗口，简化了信息处理，并解决了 LLM 数据分析中的主要挑战。我们提出了 DataFrame QA 作为一个全面的框架，包括安全的 Pandas 查询生成和代码执行。我们评估了各种 LLM，特别是 GPT-4，在著名的 WikiSQL 和我们新开发的 “UCI-DataFrameQA” 上，使用 pass@1 度量来进行复杂数据分析查询。我们的研究结果表明，GPT-4 在 WikiSQL 上的 pass@1 成功率为 86％，在 UCI-DataFrameQA 上为 97％，突出了其在安全地检索和汇总数据框值以及开展复杂数据分析方面的能力。该方法可以在无需事先训练或调整的情况下进行零 - shot 部署，证明了其在各种应用中具有高适应性和安全性。

    Jan, 2024

  • 表格问答调查：最新进展

    该研究调查了目前表格问答的数据集和方法，并将现有的表格问答方法分类为五类，即基于语义解析的、生成式的、提取式的、基于匹配的和检索式的方法。此外，研究还提出了该领域的一些主要挑战和未来方向。

    Jul, 2022

  • HiddenTables & PyQTax: 一种协同游戏和数据集，用于保证表格问答在众多分类体系中的规模和数据隐私

    通过创建一个合作博弈模型 "HiddenTables"，作者解决了大型语言模型在表格问答任务中遇到的挑战，同时确保数据安全并降低生成成本。

    Jun, 2024

  • 生成、转换、回答：面向表格数据的问题特定工具综合

    本文提出了 ToolWriter 算法，针对 tabular question answering 中信息丢失问题，生成查询特定的程序并检测何时将它们应用于转换表格以与 TQA 模型的能力对齐。使用 ToolWriter 生成的行过滤器工具，提高了 WikiTableQuestions 和 WikiSQL 数据集的性能。同时揭示了结构化数据中潜在的程序化工具与神经元件相结合的潜力。

    Mar, 2023

  • 航空行业复杂表格的问答数据集

    该研究主要介绍了一个针对航空业公司数据集的领域特定的表格问答数据集 AIT-QA，分析了使用 Transformer 模型进行 Table QA 的现有方法在处理领域特定的表格数据时面临的挑战，并提出了一些实用的表格预处理步骤。

    Jun, 2021

  • TableQAKit：一套全面实用的基于表格的问题回答工具包

    TableQAKit 是第一个专门设计用于 TableQA 的综合工具包，它提供了丰富的 TableQA 数据集、集成了流行的方法和大型语言模型，并且在一些数据集上实现了新的最佳性能，同时还提供了一个基于大型语言模型的 TableQA 基准测试。

    Oct, 2023

  • 本地化、检索和融合：用于自由形式表格问答的通用框架

    该论文提出了一种名为 TAG-QA 的广义三阶段方法，通过表格到图的转换、外部知识检索和表格 - 文本融合来解决生成型 TableQA 中推断长篇自由格式答案的挑战。实验显示，TAG-QA 在 BLEU-4 和 PARENT F-score 指标上优于多个最先进的基准模型。

    Sep, 2023

  • TableQA：一个用于表感知 SQL 生成的大规模中文文本到 SQL 数据集

    本文介绍了 TableQA dataset 及其挑战性和必要性，探讨了解决不同条件值表述和表格外查询的问题的两种基于表格知识的方法，并给出实验结果。

    Jun, 2020

  • TableVQA-Bench: 多表领域上的视觉问答基准

    本文介绍了一个名为 TableVQA-Bench 的基准，用于表格视觉问答，该基准由现有的表格问答和表格结构识别数据集派生而来。通过使用样式表或提出的表格渲染系统，获取图像，并通过利用大型语言模型生成 QA 问题。我们在 TableVQA-Bench 上全面比较了不同的多模态大型语言模型的性能，其中 GPT-4V 在商业和开源的多模态大型语言模型中表现最高的准确率。研究结果表明，对于 TableVQA 而言，视觉输入的处理比文本输入更具挑战性。

    Apr, 2024