Apr, 2024

RanLayNet：一种用于领域自适应和泛化的文档布局检测数据集

PDF
TL;DR为了解决有限多样性数据集对深度学习模型的影响问题，我们引入了一个包含空间位置、范围和布局元素类型的标签的合成文档数据集 RanLayNet。经过实验证明，使用我们的数据集训练的深度布局识别模型相比仅使用实际文档训练的模型表现更优。此外，我们通过对 Doclaynet 数据集使用 PubLayNet 和 IIIT-AR-13K 数据集的微调模型进行比较分析，发现使用我们的数据集进行增强的模型在科学文档领域的 TABLE 类任务中取得了 0.398 和 0.588 的 mAP95 分数。
layout detectiondeep learning techniquesdomain adaptationsynthetic document datasetlayout identification model
发现论文，激发创造
  • PubLayNet：有史以来最大的文档布局分析数据集

    本文提出了 PubLayNet 数据集用于文档布局分析，并证明基于该数据集的深度神经网络模型可以准确地识别科学文章的布局。

    Aug, 2019

  • LoRaLay: 长距离和布局感知摘要的多语言和多模态数据集

    LoRaLay 是一个包含带有布局信息的长距离摘要的数据集合，拓展现有的英语数据集（arXiv 和 PubMed）并提供了四个覆盖法语、西班牙语、葡萄牙语和韩语的新数据集。在这篇文章中，我们提出了结合布局感知和长程模型的新基线，并获得了最先进的结果，这显示了在摘要模型中结合两种研究线路的重要性。

    Jan, 2023

  • 文档图像中的文档布局分析的混合方法

    这篇论文探讨了文档布局分析，使用先进的基于 Transformer 的对象检测网络作为创新的图形页面对象检测器，以识别表格、图形和展示元素。通过引入查询编码机制，提供高质量的对象查询进行对比学习，增强了解码器阶段的效率。同时，本方法采用混合匹配方案，在训练阶段将解码器的一对一匹配策略与一对多匹配策略相结合，旨在提高模型在页面上检测各种图形元素的准确性和通用性。实验结果表明，该方法在 PubLayNet、DocLayNet 和 PubTables 等基准测试上的表现超过了现有的最先进方法，PubLayNet 的平均精度为 97.3%，DocLayNet 的精度为 81.6%，PubTables 的精度为 98.6%，证明了其在布局分析方面的优越性能。这些进步不仅提高了将文档图片转换为可编辑和可访问格式的能力，还简化了信息检索和数据提取过程。

    Apr, 2024

  • 具有复杂布局的历史日本文件大型数据集

    本文介绍了一种使用 HJDataset 的深度学习方法，可以准确地分析历史日文文档的布局并提取内容。该数据集包含 250,000 多个布局元素注释和基于半规则的方法构建，旨在提供深度学习模型的基准性能分析。

    Apr, 2020

  • M$^{6}$Doc：现代文档布局分析的大规模多格式、多类型、多布局、多语言、多注释类别数据集

    本文介绍了一种名为 $M^{6} Doc$ 的大型多样化文档布局分析数据集和一种基于 transformer 的文档布局分析方法 TransDLANet。该方法采用自适应元素匹配机制和构建分割分支，以更好地匹配真实情况，并且实现更精确的文档图像实例分割，其中 $M^{6} Doc$ 数据集展示了其有效性，并且 TransDLANet 在该数据集上达到了 64.5％的 mAP，该数据集具有多种注释类别的特点。

    May, 2023

  • 基于布局的文档驱动对话信息提取：数据集、方法和演示

    该研究构建了基于文档的对话系统，旨在从视觉丰富的文档（VRD）中提取结构和语义知识，以生成准确的回复，为此创建了一个布局感知的文档级信息提取数据集 LIE，并开发了基准方法考虑人类的布局特征，实验结果表明布局对基于 VRD 的提取至关重要，系统演示也验证了提取的知识能够帮助用户找到关心的答案。LIE 包含来自产品和官方文档中 4,061 页的 62k 注释，成为我们所知最大的基于 VRD 的信息提取数据集。

    Jul, 2022

  • LayoutReader：用于阅读顺序检测的文本和布局预训练

    本论文提出了一个读取顺序检测系统，使用深度学习和基于 seq2seq 模型的 LayoutReader，对包含 500,000 份文档的 ReadingBank 数据库进行了测试，并提高了开源和商业 OCR 引擎的文本顺序识别能力。

    Aug, 2021

  • 自监督摄影图像布局表示学习

    研究通过定义基本布局元素，将图像布局映射到异质图结构，引入自我监督学习和自定义损失函数，建立在这个基础上发展了一个能够高效地压缩图像布局的自动编码网络架构，并介绍了一个全面评估布局表示学习方法的基准数据集，实验证明该方法在摄影图像布局表示学习领域具有卓越的性能。

    Mar, 2024

  • 递归自编码器用于文档布局生成

    本文提出了一种名为 READ 的新框架，利用递归自动编码器生成大量和多样的文档 2D 布局，其中采用了一种递归的方法来提取文档的结构分解，并利用标注边界框的文档数据集对此进行了学习，从而获得了结构表示形式，并将其映射到高斯空间，从而生成新的文本布局，同时，还引入了一种组合度量来测量文档布局之间的结构相似性，并证明了所生成文档布局的高可变性和实际性，在文本检测任务中证明了所生成布局的作用。

    Sep, 2019

  • 学习去噪以提高规模化的原始移动 UI 布局数据集

    本文提出了一种采用深度学习方法进行 UI 布局去噪的 CLAY pipeline，并且在此基础上创建了 59,555 个人工注解的屏幕布局数据集，通过该数据集建立的深度学习模型可以达到较高的准确性，为数据驱动的移动 UI 研究提供了高质量的 UI 布局数据集。

    Jan, 2022