May, 2023

文档理解数据集与评估（DUDE）

PDF
TL;DR本文探讨文档人工智能 (Document AI) 社区重新评估当前的方法学，并挑战创建更具实际意义的基准标准的任务。文档理解数据集和评估 (DUDE) 旨在纠正在理解视觉丰富文档方面的研究进展。我们提出了新的数据集，其中包含来自各个行业、领域和多页的视觉丰富文档的各种问题、答案和布局。此外，我们通过创建多任务和多领域的评估设置来推动当前方法的界限，以更准确地模拟真实世界中强大的泛化和适应低资源环境的需求。通过 DUDE 旨在为社区树立一个更实用、长期的基准标准，并希望它将导致未来的扩展和贡献，以应对实际挑战。最后，我们的工作说明了在文档人工智能中寻找更有效的方式来对语言、图像和布局进行建模的重要性。
document aibenchmarkingdocument understanding dataset and evaluationvisually-rich documentsmulti-task evaluation
发现论文，激发创造
  • BuDDIE：一个用于多任务信息提取的商业文档数据集

    通过介绍 BuDDIE（商业文档信息抽取数据集），本文提供了一个包含丰富且稠密注释的多任务数据集，其中包含 1,665 个现实世界商业文档。该数据集涵盖了文档分类、关键实体提取和视觉问答等多个任务，并提供了每个任务的基线结果。

    Apr, 2024

  • 从复杂文档中提取结构化信息的基准测试

    本文提出一个名为 VRDU 的用于评价文档中网络结构、多样的数据类型以及丰富的模板和布局等不同因素综合作用的数据集，并在此基础上设计实验模型，评估文档中结构化数据提取的性能。作者发现，此类任务中面对新模板挑战较大，而针对该问题，本文也提出了一种 few-shot learning 的方法。

    Nov, 2022

  • DLUE：文件语言理解基准测试

    本文提出一种新的文档语言理解评测框架 ——DLUE，它涵盖了各种形式、领域和文档类型的文档理解任务，并对六个知名 Transformer 模型进行了系统评估，结果显示由于内容冗长、结构复杂和知识分散，文档理解仍然远未解决，没有一种神经架构能够支配所有任务，这需要一个通用的文档理解结构。

    May, 2023

  • InstructDoc：一份用于指令驱动的视觉文档理解零样本泛化的数据集

    我们研究通过人工编写的指令，在真实世界的文档上完成各种视觉文档理解（VDU）任务，例如问答和信息提取。为此，我们提出了 InstructDoc，这是第一个包含 30 个公开可用的 VDU 数据集的大规模集合，每个数据集都有统一格式的多样指令，涵盖了 12 项不同任务并包括多种文档类型 / 格式。此外，为了提高 VDU 任务的泛化性能，我们设计了一种新的基于指令的文档阅读和理解模型 InstructDr，通过可训练的桥接模块连接了文档图像，图像编码器和大型语言模型（LLMs）。实验证明，通过给定的指令，InstructDr 能够有效适应新的 VDU 数据集、任务和领域，且胜过现有的多模态 LLMs 和 ChatGPT 无需特定训练。

    Jan, 2024

  • DocVQA: 一个针对文档图像的 VQA 数据集

    我们介绍了一个名为 DocVQA 的基于文档图像的视觉问答数据集，并提出了该数据集与其他 VQA 和阅读理解数据集的详细分析。虽然现有模型在某些类型的问题上表现得还不错，但与人类表现相比存在较大的表现差距，需要特别在理解文档结构的问题上提高模型性能。

    Jul, 2020

  • PDF-VQA：一个新的 PDF 文档实际应用 VQA 数据集

    本研究提出了一种基于文档的视觉问答模型，并通过新开发的 PDF-VQA 数据集综合考察了文档理解的不同方面，包括文档元素识别、文档结构理解以及上下文理解和关键信息提取，在模型中明确地将文档元素之间的空间和层级结构关系整合起来，以此增强文档结构理解的能力。

    Apr, 2023

  • 基于布局的文档驱动对话信息提取：数据集、方法和演示

    该研究构建了基于文档的对话系统，旨在从视觉丰富的文档（VRD）中提取结构和语义知识，以生成准确的回复，为此创建了一个布局感知的文档级信息提取数据集 LIE，并开发了基准方法考虑人类的布局特征，实验结果表明布局对基于 VRD 的提取至关重要，系统演示也验证了提取的知识能够帮助用户找到关心的答案。LIE 包含来自产品和官方文档中 4,061 页的 62k 注释，成为我们所知最大的基于 VRD 的信息提取数据集。

    Jul, 2022

  • 一个多模态多语言文件图像分类基准

    文档图像分类是一项与纯文本文档分类不同的任务，它通过理解表单、电子邮件和其他文档的内容和结构来对文档进行分类。本研究介绍了两个新的多语言数据集 WIKI-DOC 和 MULTIEURLEX-DOC，克服了现有数据集的限制。此外，本研究对以前未经测试的文档图像分类任务中的流行视觉丰富的文档理解或文档智能模型进行了全面研究，包括多标签分类和零样本跨语言迁移设置。实验结果显示多语言文档智能模型在跨语言迁移上存在一定的局限性。我们的数据集和研究结果为未来改进文档智能模型打开了大门。

    Oct, 2023

  • DocTrack: 一个与人眼运动真正对齐的视觉丰富的文档数据集，用于机器阅读

    使用者眼动追踪技术对齐的 VRD 数据集，研究人类阅读顺序对文档理解任务的影响，结果显示虽然文档 AI 模型取得了显著进展，但在与人类相比准确、连续和灵活地阅读 VRD 方面仍有很长的路要走，对未来的文档 AI 模型研究和开发具有潜在的影响。

    Oct, 2023

  • 文档智能理解研讨会

    文件理解和信息提取是自动理解文档并提取有价值信息的不同任务。该研究聚焦于发展领域包括商业、法律和医学在内的文档理解，以提高大量文档相关工作的效率。此外，该研究还推出了一个数据挑战，针对最近发布的文档级视觉问答（PDFVQA）数据集，旨在促进对自然语言全文档多个连续页面的结构和上下文理解的模型研究。该任务有助于将文档理解从单页水平提升到全文档水平。

    Jul, 2023