ACLJun, 2023

文本、表格和图像问答的统一语言表示

PDF
TL;DR本文提出了一种新的跨模态推理方式，即将图像和表格转换为统一的语言表示，以简化任务并利用先前训练好的语言模型，同时介绍了一种名为 Solar 的框架，实验结果表明，Solar 在两个数据集上的表现优于所有现有方法，并在 WebQA 排行榜上取得了最佳成绩。
multi-modal reasoningunified language representationspre-trained language modelstextual qasolar framework
发现论文，激发创造
  • MultiModalQA: 文本、表格和图像的复杂问答

    本文介绍了一个名为 “MultiModalQA (MMQA)” 的数据集，该数据集需要通过对文本、表格和图像的联合推理来回答问题。作者还创建了一个新框架来生成复杂的多模态问题，并演示了多模态多跳方法在解决这一任务中的必要性。

    Apr, 2021

  • 语言理解通用多模态表示

    本文提出了一种新方法来将视觉信息作为协助信号用于 NLP 任务，使用 Transformer 编码器和卷积神经网络来对文本和图像进行编码，通过注意力层将两种模态的表征进行融合，实验结果表明，该方法在不同的任务和语言中都具有很好的效果。

    Jan, 2023

  • 视觉问答作为阅读理解

    本研究提出了一种基于机器阅读理解的方法，通过将视觉和文本特征统一到自然语言中以解决视觉问答中的多模态特征融合问题，并能够处理大规模外部知识库等基于知识的问题。实验结果表明，该方法在三个数据集上性能具有可比性，此为利用文本和自然语言处理技术解决视觉问答问题的一步。

    Nov, 2018

  • WebQA：多跳和多模态 QA

    本论文中，我们提出了 WebQA，它引入了一个具有挑战性的新测量标准，该标准涉及大规模最先进模型的困难之处，缺乏新颖对象的语言基础视觉表达和推理能力，但对人类来说却很简单。我们的社区挑战是创建统一的多模态推理模型，这些模型可以回答问题，而不考虑源模态，从而使我们更接近不仅查询语言知识，而且查询更丰富的视觉在线世界的数字助手。

    Sep, 2021

  • HybridQA: 表格和文本数据的多跳问答数据集

    HybridQA 是一个基于异构信息的新的大规模问答数据集，通过对表格和文本信息的聚合完成问答，结果表明使用异构信息的混合模型可以获得高于基准模型的精确度。

    Apr, 2020

  • MultiTabQA：为多表问答生成表格答案

    本文提出了一种新的多表问题回答模型，称作 MultiTabQA，除了回答多表问题外，还能生成表格回答。为了实现有效的训练，我们构建了一个包括 132,645 个 SQL 查询和表格回答的预训练数据集。通过引入不同严格程度的特定于表格的评估指标，我们评估了生成的表格。经过在三个数据集（Spider、Atis 和 GeoQuery）上微调后，MultiTabQA 优于在多表 QA 环境中改编成的最先进的单表 QA 模型。

    May, 2023

  • UniK-QA: 面向开放域问答的结构化和非结构化知识统一表示

    该研究致力于利用结构化、非结构化和半结构化知识来源（如文本、表格、列表和知识库）进行开放域问题回答，并提出了统一的方法，将它们转化为文本并采用检索 - 阅读器模型，从而大大提高了在知识库问题回答任务上的表现，并将异构知识来源融合成一个简单且有效的统一知识模型，并在两个流行的问答基准测试中（自然问题和网络问题）继续提高最新的图形方法等级，分别为 3.5 和 2.6 点。

    Dec, 2020

  • 通过跨媒体知识提取和基础加固进行多媒体多跳新闻问答的 MuMuQA

    本文介绍了一个包含 1,384 个跨媒体对象基于新闻文章的多步骤问题的 QA 评估基准，并提出了一个新颖的多媒体数据增强框架，用于自动增强可以为此任务提供弱监督的数据。在我们的基准上评估了基于流水线和端到端预训练的多媒体 QA 模型，并表明它们实现了有希望的性能，但相当滞后于人类表现，因此为未来此挑战性新任务留下了很大的空间。

    Dec, 2021

  • UnifiedQA：通过单一的 QA 系统跨越格式界限

    该论文介绍了一种基于最新的语言建模技术构建的单一预训练问答模型 UnifiedQA，该模型在 17 个问题回答数据集中表现出色，甚至在面对 12 个观察过的格式数据集时也表现出了强大的泛化能力，并且该模型通过简单的微调就可以成为构建 QA 系统的强有力起点。

    May, 2020

  • mChartQA：基於視覺語言對齊和推理的跨模態圖表問答通用基準

    该论文介绍了一种新颖的多模态图表问答模型，专门设计用于处理复杂的多模态任务，通过融合视觉和语言处理，克服了传统方法的局限性，采用双阶段训练方法，在处理色彩、结构和无文字图表问题方面表现出优异性能。

    Apr, 2024