EMNLPOct, 2023

DocTrack: 一个与人眼运动真正对齐的视觉丰富的文档数据集，用于机器阅读

PDF
TL;DR使用者眼动追踪技术对齐的 VRD 数据集，研究人类阅读顺序对文档理解任务的影响，结果显示虽然文档 AI 模型取得了显著进展，但在与人类相比准确、连续和灵活地阅读 VRD 方面仍有很长的路要走，对未来的文档 AI 模型研究和开发具有潜在的影响。
visually-rich documentsdocument ai modelsvrd dataseteye-tracking technologyhuman reading order
发现论文，激发创造
  • 视觉丰富文档评估的文档智能度量

    介绍了一款名为 DI-Metrics 的 Python 库，其中包括了基于文本、几何和层次结构指标的用于评估 Visually-Rich Documents 信息提取模型表现的指标，并使用 CORD 数据集比较了三种 SOTA 模型和一种工业模型的性能。该开源库已在 GitHub 上发布。

    May, 2022

  • 迈向类人机理解：在视觉丰富文档中的少样关系学习

    通过引入两个新的少样本基准数据集，本研究针对可视化丰富的文档（VRD）中的键 - 值关系三元组的提取，提出了一种变分方法，其中包含关系 2D 空间先验知识和原型化校正技术，实验结果表明该方法的有效性，并为实际应用开辟了新的可能性。

    Mar, 2024

  • 从复杂文档中提取结构化信息的基准测试

    本文提出一个名为 VRDU 的用于评价文档中网络结构、多样的数据类型以及丰富的模板和布局等不同因素综合作用的数据集，并在此基础上设计实验模型，评估文档中结构化数据提取的性能。作者发现，此类任务中面对新模板挑战较大，而针对该问题，本文也提出了一种 few-shot learning 的方法。

    Nov, 2022

  • 具有布局感知能力的基于预训练语言模型的视觉丰富文档信息抽取方法

    本文研究信息提取的问题，使用大型预训练语言模型和图神经网络相结合的模型来高效地编码视觉和文本信息，并引入新的微调目标，通过使用大量未标记的领域内数据来改善领域内无监督微调。我们在真实世界的发票和简历数据集上进行了实验，并表明所提出的方法在发票上的绝对 F1 比强文本基线高出 6.3％ ，在简历中 F1 绝对值增加了 4.7％。在少数样本情况下，我们的方法需要比基线少 30 倍的批注数据才能在约 90％的 F1 达到相同的性能水平。

    May, 2020

  • 文档理解数据集与评估（DUDE）

    本文探讨文档人工智能 (Document AI) 社区重新评估当前的方法学，并挑战创建更具实际意义的基准标准的任务。文档理解数据集和评估 (DUDE) 旨在纠正在理解视觉丰富文档方面的研究进展。我们提出了新的数据集，其中包含来自各个行业、领域和多页的视觉丰富文档的各种问题、答案和布局。此外，我们通过创建多任务和多领域的评估设置来推动当前方法的界限，以更准确地模拟真实世界中强大的泛化和适应低资源环境的需求。通过 DUDE 旨在为社区树立一个更实用、长期的基准标准，并希望它将导致未来的扩展和贡献，以应对实际挑战。最后，我们的工作说明了在文档人工智能中寻找更有效的方式来对语言、图像和布局进行建模的重要性。

    May, 2023

  • 基于布局的文档驱动对话信息提取：数据集、方法和演示

    该研究构建了基于文档的对话系统，旨在从视觉丰富的文档（VRD）中提取结构和语义知识，以生成准确的回复，为此创建了一个布局感知的文档级信息提取数据集 LIE，并开发了基准方法考虑人类的布局特征，实验结果表明布局对基于 VRD 的提取至关重要，系统演示也验证了提取的知识能够帮助用户找到关心的答案。LIE 包含来自产品和官方文档中 4,061 页的 62k 注释，成为我们所知最大的基于 VRD 的信息提取数据集。

    Jul, 2022

  • InstructDoc：一份用于指令驱动的视觉文档理解零样本泛化的数据集

    我们研究通过人工编写的指令，在真实世界的文档上完成各种视觉文档理解（VDU）任务，例如问答和信息提取。为此，我们提出了 InstructDoc，这是第一个包含 30 个公开可用的 VDU 数据集的大规模集合，每个数据集都有统一格式的多样指令，涵盖了 12 项不同任务并包括多种文档类型 / 格式。此外，为了提高 VDU 任务的泛化性能，我们设计了一种新的基于指令的文档阅读和理解模型 InstructDr，通过可训练的桥接模块连接了文档图像，图像编码器和大型语言模型（LLMs）。实验证明，通过给定的指令，InstructDr 能够有效适应新的 VDU 数据集、任务和领域，且胜过现有的多模态 LLMs 和 ChatGPT 无需特定训练。

    Jan, 2024

  • VisualMRC：基于文档图片的机器阅读理解

    本研究提出了一个名为 VisualMRC 的新的视觉机器阅读理解数据集，包含来自多个网络域的 10,000 多个文档图像，以及 30,000 多个问题和答案对，以帮助发展自然语言理解和生成能力。此外，研究还引入了一个扩展了现有序列到序列模型的新模型，以考虑文档的视觉布局和内容。该模型在自动评估度量方面优于基本序列到序列模型和最先进的 VQA 模型，但其性能仍低于大多数人类表现。该数据集将有助于将视觉和语言理解联系起来的研究。

    Jan, 2021

  • 一个带有阅读理解的大型跨模态视频检索数据集

    提出了一种新的跨模态视频检索数据集 TextVR，它包含了八个场景领域的 10.5k 个视频和 42.2k 个查询语句，并介绍了一种统一的跨模态模型，有效地将文本和视觉语义信息融合来实现视频检索任务。该数据集和我们提出的跨模态检索方法为视频和语言研究领域提供了许多新的技术挑战和洞见。

    May, 2023

  • HRVDA：高分辨率视觉文档助手

    利用大量的训练数据，本文提出了一种高分辨率可视文件助手（HRVDA），该模型利用内容过滤机制和指令过滤模块分别过滤不确定内容和指令的可视标记，从而在高分辨率图像的模型训练和推理方面取得高效的性能，同时在多个文档理解数据集上实现了最先进的性能。

    Apr, 2024