ACLMay, 2021

TAT-QA：面向金融领域表格和文本混合内容的问答基准

PDF
TL;DR本文提出了一个新的 QA 数据集 TAT-QA，并提出了一个新的 QA 模型 TAGOP，该模型可以同时推理表格和文本的含义，但该模型的 F1 值达到了 58.0％，距离专家水平还有较大的差距（90.8％），本文提供的 TAT-QA 可以作为处理混合形式数据的 QA 模型的基准。
发现论文，激发创造
  • 表格与文本的开放式问题回答

    该论文研究了开放式问答系统（QA）在同时检索结构化表格和非结构化文本数据时的困难之处，并提出了两种新技术以提高检索准确率，让模型的精确匹配得分提高至 27% 以上，这为该领域的未来研究提供了重要的参考价值。

    Oct, 2020

  • 本地化、检索和融合：用于自由形式表格问答的通用框架

    该论文提出了一种名为 TAG-QA 的广义三阶段方法，通过表格到图的转换、外部知识检索和表格 - 文本融合来解决生成型 TableQA 中推断长篇自由格式答案的挑战。实验显示，TAG-QA 在 BLEU-4 和 PARENT F-score 指标上优于多个最先进的基准模型。

    Sep, 2023

  • HybridQA: 表格和文本数据的多跳问答数据集

    HybridQA 是一个基于异构信息的新的大规模问答数据集，通过对表格和文本信息的聚合完成问答，结果表明使用异构信息的混合模型可以获得高于基准模型的精确度。

    Apr, 2020

  • 科学表格的标签问答模型有多稳健？使用自定义数据集的研究

    研究报告通过构建新的 SciTabQA 数据集评估现有的科学混合表格问答模型的稳健性和性能，发现表格问答模型在科学信息上的解释能力较低，需要进一步改进。

    Mar, 2024

  • BioTABQA: 医学表格问答的指令学习

    本文在生物医学领域维度构建了一个表格问答数据集 BioTABQA，包含 22 个模板和上下文中的信息。通过该数据集，本文提出了一种基于指导学习的方法，在多个评估方式下，该方法比单一和多任务基线模型表现提高约 23% 和 6%。最重要的是，在跨任务方面，该方法的性能比基线模型提高了约 5%。

    Jul, 2022

  • 航空行业复杂表格的问答数据集

    该研究主要介绍了一个针对航空业公司数据集的领域特定的表格问答数据集 AIT-QA，分析了使用 Transformer 模型进行 Table QA 的现有方法在处理领域特定的表格数据时面临的挑战，并提出了一些实用的表格预处理步骤。

    Jun, 2021

  • FeTaQA：自由形式表格问答

    本篇论文介绍了 FeTaQA 数据集，该数据集包含 10K 个基于维基百科的 {表格，问题，自由形式答案，支持表格单元格} 对，可以用于进行表格问答系统的复杂推理和信息集成；并提出了一个基于语义解析的 QA 系统和一个基于大型预训练文本生成模型的端到端方法来处理该任务。

    Apr, 2021

  • TANQ: 一个开放领域的表格问答数据集

    TANQ 是第一个需要从多个源中提取信息构建表格作为答案的开放领域问题回答数据集，我们在开放、正式和闭卷的场景中使用顶尖的语言模型进行评测，最好的基准模型 GPT4 的综合 F1 得分为 29.1，相较于人类表现差了 19.7 个百分点，我们分析了在这个任务中所需的不同技能以及模型生成答案的常见失败，指出 TANQ 是一个具有许多挑战的复杂任务。

    May, 2024

  • FREB-TQA：用于表格问答的细粒度鲁棒性评估基准

    通过对韧性 TQA 系统的细致评估，本文确定了三个重要指标：无视表格结构的改变回答问题、基于相关单元格的内容而非偏见回答问题、具备鲁棒的数值推理能力。实验证明，目前研究中没有哪种先进的 TQA 系统能在这三个方面表现出色。我们发布了一份全新的 TQA 评估基准，该基准对于监控 TQA 系统行为以及开发韧性 TQA 系统具有重要作用。

    Apr, 2024

  • MultiHiertt: 对多层次表格和文本数据的数值推理

    构建一个新的 QA benchmark (MultiHiertt)，使用金融报告构建。包含多个表以及更长的非结构化文本，大部分表格是分层的；提供了复杂的数量推理的细粒度注释；提出了一个新的 QA 模型 MT2Net，它首先应用事实检索来提取相关事实，然后使用推理模块对检索到的事实进行符号推理。与现有基线相比，实验结果表明 MultiHiertt 对现有基线提出了严峻的挑战。

    Jun, 2022