可迁移的表格问答
该研究主要介绍了一个针对航空业公司数据集的领域特定的表格问答数据集 AIT-QA,分析了使用 Transformer 模型进行 Table QA 的现有方法在处理领域特定的表格数据时面临的挑战,并提出了一些实用的表格预处理步骤。
Jun, 2021
本文探究了迁移学习在问题回答方面的应用,使用两种问题回答模型,在 TOEFL 和 MCTest 数据集上通过简单的迁移学习技术从 MovieQA 数据集中学到的知识显著提高了性能,尤其是其中一种模型在所有目标数据集上取得了最佳效果,对于 TOEFL 听力理解测试,它的性能比以前的最佳模型提高了 7%。最后,我们证明了即使在目标 QA 数据集示例的正确答案不可用的无监督情况下,迁移学习也是有帮助的。
Nov, 2017
使用开源语言模型,我们提出了一种基于推理和摘要的分解问题和回答的多跳表 - 文本问答的 TTQA-RS 模型,它在现有的 HybridQA 和 OTT-QA 数据集上的表格 - 文本 QA 任务中表现出色,同时与基于训练的最先进模型相当,展示了基于提示的方法利用开源 LLMs 的潜力,此外,通过使用 GPT-4 与 LLaMA3-70B,我们的模型在多跳表 - 文本 QA 的基于提示的方法上实现了最先进的性能。
Jun, 2024
本文提出了一种新的多表问题回答模型,称作 MultiTabQA,除了回答多表问题外,还能生成表格回答。为了实现有效的训练,我们构建了一个包括 132,645 个 SQL 查询和表格回答的预训练数据集。通过引入不同严格程度的特定于表格的评估指标,我们评估了生成的表格。经过在三个数据集(Spider、Atis 和 GeoQuery)上微调后,MultiTabQA 优于在多表 QA 环境中改编成的最先进的单表 QA 模型。
May, 2023
本文研究如何利用少量参数来实现在结构化表格数据和非结构化文本数据上执行抽象问答(QA)的编码器 - 解码器模型,通过在转换器层之间添加和训练小型任务特定的瓶颈层来实现参数节约。通过在编码器和解码器模块上消融适配器层,研究了效率与性能之间的权衡,证明将可训练参数减少到 0.7% -1.0%可以产生可比较的结果,实证表明所提模型在 Tablesum 和 FeTaQA 等表格 QA 数据集上优于当前最先进的模型,并在 NarrativeQA 等文本 QA 数据集上实现了可比性能且训练参数明显少于针对性 fine-tuning 方法。
Apr, 2022
本文提出了 ToolWriter 算法,针对 tabular question answering 中信息丢失问题,生成查询特定的程序并检测何时将它们应用于转换表格以与 TQA 模型的能力对齐。使用 ToolWriter 生成的行过滤器工具,提高了 WikiTableQuestions 和 WikiSQL 数据集的性能。同时揭示了结构化数据中潜在的程序化工具与神经元件相结合的潜力。
Mar, 2023
本文在生物医学领域维度构建了一个表格问答数据集 BioTABQA,包含 22 个模板和上下文中的信息。通过该数据集,本文提出了一种基于指导学习的方法,在多个评估方式下,该方法比单一和多任务基线模型表现提高约 23% 和 6%。最重要的是,在跨任务方面,该方法的性能比基线模型提高了约 5%。
Jul, 2022
本文旨在开发一种简单的基于表格的问答模型,采用全能预训练方法结合自然和合成数据,实现问题与表格的对齐和多元素复杂推理,实验证明该模型在少量和全量数据上性能卓越,在 WikiTableQuestions 数据集上成为新的最优模型,讨论分析自然数据和合成数据的不同特点,为全能预训练提供未来方向。
Jul, 2022
本文介绍了一个名为 TableVQA-Bench 的基准,用于表格视觉问答,该基准由现有的表格问答和表格结构识别数据集派生而来。通过使用样式表或提出的表格渲染系统,获取图像,并通过利用大型语言模型生成 QA 问题。我们在 TableVQA-Bench 上全面比较了不同的多模态大型语言模型的性能,其中 GPT-4V 在商业和开源的多模态大型语言模型中表现最高的准确率。研究结果表明,对于 TableVQA 而言,视觉输入的处理比文本输入更具挑战性。
Apr, 2024
本文提出了一种简单的方法,利用表格内容为基于 BERT 的模型解决文本到 SQL 的问题。通过观察表格内容与问题中的一些单词匹配以及表格标题也与问题中的一些单词匹配,我们为深度模型编码了两个额外的特征向量。我们在 WikiSQL 数据集上进行了测试,并在逻辑形式和执行准确性方面比 BERT 基线提高了 3.7%,成为业内领先者。
Oct, 2019