多页文档视觉问答任务的新方法和有效训练策略，利用视觉特征对文档页进行相关性评分，可在多页场景中提供与最新技术相媲美的性能，且对 GPU 资源需求较少。

Apr, 2024

针对长篇研究期刊文章等富有文本内容的视觉丰富文档，我们提出了 PDF-MVQA，旨在解决现有研究主要关注稀缺文本的现实世界文档的问题，而在理解多个页面之间的层次语义关系以定位多模态组件方面仍面临挑战。我们的贡献包括介绍了一个全面的 PDF 文档视觉问答数据集，用于研究文本主导文档中的语义层次布局结构。我们还提出了新的视觉丰富文档问答框架，同时考虑文档布局中的文本内容和关系，将页面级别理解扩展到整个多页文档。通过这项工作，我们旨在提高现有视觉和语言模型在处理视觉丰富文档视觉问答时的能力。

Apr, 2024

在多页文档问答中，我们提出了 GRAM 方法，它能够无需复杂的预训练，将单页模型扩展到多页设置，并通过引入文档级指定层和可学习令牌来增强本地页面级理解，促进跨页面信息流动。大量实验表明 GRAM 在多页文档问答基准测试中具有先进的性能，展示了我们方法的有效性。

Jan, 2024

本文提供了一个名为 TAT-DQA 的新的数据集，包含来自财务报告的，既有半结构化表格和非结构化文本，又有 16558 个问答对。此外，作者发明了一种新的文档 VQA 模型 MHST，可以智能地处理来自多种模态的信息，从而有效地回答不同类型的问题，并运用离散推理来训练。结果表明，该模型明显优于基线方法，但仍然远远落后于专家人类。作者希望通过提供新的数据集能够促进对融合视觉和语言的视觉丰富文档的深度理解的研究。

Jul, 2022

通过多问多答（MQMA）方法，在编码 - 解码变压器模型中进行文本 - VQA（Visual Question Answering）。通过多次将不同问题和内容输入到模型中进行预测，实现对同一图像的多问题回答预测。提出几个新颖的架构修改来支持 MQMA，并且通过 MQMA 去噪的预训练任务，使模型能够对多个问题以及相关答案进行对齐和划分。在多个文本 - VQA 数据集上，MQMA 预训练模型实现了与先前最先进方法相比的明显改进（OCR-VQA：+2.5％，TextVQA：+1.4％，ST-VQA：+0.6％，DocVQA：+1.1％）。

Nov, 2023

本研究提出了一种基于多模态 Transformer 架构的新型 TextVQA 模型，采用自我注意力机制进行不同模态的融合，并通过动态指针网络进行迭代式答案解码，相比于现有方法大幅度提高了 TextVQA 任务的性能。

Nov, 2019

V-Doc 是一种使用文档图像和 PDF 文件的问答工具，主要用于帮助研究人员和普通非深度学习专家生成、处理和理解文档的视觉问答任务，支持使用文档图像生成和使用抽取式和生成式问答对，可用于各种数据集和模型，并且通过声明性、框架不可知平台高度可扩展。

May, 2022

本研究提出了一种基于文档的视觉问答模型，并通过新开发的 PDF-VQA 数据集综合考察了文档理解的不同方面，包括文档元素识别、文档结构理解以及上下文理解和关键信息提取，在模型中明确地将文档元素之间的空间和层级结构关系整合起来，以此增强文档结构理解的能力。

Apr, 2023

本研究提出了一种新的多级分层网络（MHN），结合多重时间尺度和深度学习模型的多层次处理能力，通过 Multiscale Sampling 实现逐层交互式的表示学习，从而实现视频问题回答中的视觉推理。

May, 2022

本文提出了一种神经网络归纳模型，能够有效地处理多个输入文档，并利用 Transformers 架构对文档进行层次编码，通过注意力机制来表示跨文档之间的关系，并学习文本单元之间的潜在依赖关系，在 Wikisum 数据集上的实验证明，所提出的架构比数个强基线模型都有明显的改进。

May, 2019