Aug, 2023

基于 Mask-RCNN 的孟加拉文档布局分析性能增强

PDF
TL;DR理解数字化文档就像解谜游戏，特别是历史文档。文档布局分析（DLA）通过将文档划分为段落、图像和表格等部分来解决这个谜题，这对机器读取和理解这些文档至关重要。本研究针对理解孟加拉语文档进行了工作，使用了一个名为 BaDLAD 的数据集，并使用了特殊的 Mask R-CNN 模型进行训练。通过逐步调整超参数，我们改进了模型，并取得了良好的 Dice 分数 0.889。然而，并非一切顺利，我们尝试使用对英文文档训练的模型，但它不适用于孟加拉语。这向我们展示了每种语言都有其自身的挑战。我们在 DL Sprint 2.0 方案的解决方案公开可用，链接位于 https URL，并附带笔记本、权重和推断笔记本。
document layout analysisbangla documentsmask r-cnnhyperparameter tuninglanguage challenges
发现论文，激发创造
  • Detectron2 上的孟加拉文档布局分析

    我们通过使用 Detectron2 库中的先进 Mask R-CNN 模型改进了 Bengali 文档的 DLA 模型的准确性，评估了三种变体，结果表明这些模型在准确分割 Bengali 文档方面非常有效，同时我们强调了预训练权重的重要性，拓展了 Mask R-CNN 在文档布局分析、高效文档管理和 OCR 研究中的适用性，并提出了未来微调和数据增强的发展方向。

    Aug, 2023

  • 论孟加拉文档布局分析数据集中的框架和模型分析：BaDLAD

    本研究通过使用先进的计算机程序 (Detectron2、YOLOv8 和 SAM) 来理解孟加拉文档布局。我们研究了许多不同的孟加拉文档。Detectron2 非常擅长找到和分离文本框和段落等文档的不同部分。YOLOv8 在识别表格和图片方面表现良好。我们还尝试了 SAM，它帮助我们理解棘手的布局。通过比较它们的准确性和速度，我们了解到它们在不同类型的文档中的适用性。我们的研究有助于理解孟加拉文档中的复杂布局，也可以对其他语言有所帮助。

    Aug, 2023

  • 基于 MViTv2 的 BaDLAD 数据集的文档布局分析方法

    在数字化快速发展的时代，文档布局的分析在自动化信息提取和解释中起着重要作用。通过在 BaDLAD 数据集上训练 MViTv2 转换器模型架构与级联掩膜 R-CNN，我们从文档中提取了文本框、段落、图像和表格。通过对 20365 个文档图像进行 36 个周期的训练，在 3 个阶段的循环中，我们取得了 0.2125 的训练损失和 0.19 的掩膜损失。同时，我们还探讨了旋转和翻转增强、在推理前对输入图像进行切片、改变转换器主干的分辨率以及使用双通道推理来发现遗漏的文本框等潜在的增强方法。通过这些探索，我们观察到一系列结果，一些修改带来了实质性的性能改进，而其他的修改为未来的努力提供了独特的见解。

    Aug, 2023

  • 基于后处理的孟加拉文档布局分析与 YOLOV8

    利用 YOLOv8 模型和创新的后处理技术，本文着重于增强孟加拉文档布局分析（DLA），通过采用数据增强方法解决复杂孟加拉文字符的独特挑战，并通过细致的验证集评估和基于完整数据集的微调来实现准确的元素分割。我们的组合模型结合后处理优于单个基本架构，解决了 BaDLAD 数据集中发现的问题。通过利用这种方法，我们旨在推进孟加拉文档分析，从而提高 OCR 和文档理解，BaDLAD 成为这一努力的基础资源，有助于未来的研究。此外，我们的实验为将新策略纳入已经建立的解决方案提供了关键见解。

    Sep, 2023

  • 稳健的孟加拉文档布局分割无锚模型集合

    我们通过利用 YOLOv8 模型的集合，为 Bangla 文档分割的任务设计了一个创新系统。通过图像增强、模型架构和模型集成等技术的应用，我们降低了文档图像的质量来提高模型训练的鲁棒性，并成功展示了将无锚点模型融合以实现 Bangla 文档的稳健布局分割。

    Aug, 2023

  • 文档布局分析的图形方法

    文档布局分析是检测文档中不同的语义内容并正确分类到适当类别（如文本、标题、图表）的任务。本研究采用基于图的布局分析模型（GLAM），将每个 PDF 页面表示为结构化图，并将布局分析问题作为图分割和分类问题进行。与现有模型相比，GLAM 既能在两个具有挑战性的数据集上与现有模型相媲美，又比现有模型小一个数量级。

    Aug, 2023

  • 公共事务领域的文档布局标注：数据库和基准

    本文介绍了一种用于半自动标注数字文档的过程，收集公共事务领域的新数据库，其中包括来自西班牙管理层的 24 个数据源。使用本文提出的文本标注程序可实现高达 99％的准确性。

    Jun, 2023

  • RoDLA：评估文档布局分析模型的鲁棒性

    在真实世界应用中开发文档布局分析（DLA）模型之前，进行全面的稳健性测试是必不可少的。然而，DLA 模型的稳健性在文献中仍未得到充分探索。为了解决这个问题，我们首次引入了 DLA 模型的稳健性基准，其中包括三个数据集的 450K 个文档图像。为了涵盖真实世界的破坏，我们提出了一个受真实世界文档处理启发的 36 种常见文档扰动的扰动分类方法。此外，为了更好地理解文档扰动的影响，我们提出了两个指标，即扰动评估的 “Mean Perturbation Effect (mPE)” 和稳健性评估的 “Mean Robustness Degradation (mRD)”。此外，我们引入了一个名为 “Robust Document Layout Analyzer (RoDLA)” 的自命名模型，它改进了注意力机制以提高稳健特征的提取。对所提出的基准 (PubLayNet-P、DocLayNet-P 和 M$^6$Doc-P) 的实验结果表明，RoDLA 的 mRD 得分分别达到了 115.7、135.4 和 150.4，超过了先前方法，在 mAP 上分别取得了 + 3.8%、+7.1% 和 + 12.1% 的显著改进。

    Mar, 2024

  • LAMBERT: 面向布局的（语言）建模用于信息提取

    在 OCR 系统获取的布局特征的基础上，改进 Transformer 编码器的结构来构建布局感知的语言模型，展示在信息提取方面的出色性能。

    Feb, 2020

  • 使用手动和自动标注的机器学习和深度学习方法用于孟加拉语新闻分类

    本文介绍了几种机器和深度学习方法，应用于孟加拉语新闻分类。这些方法包括逻辑回归、支持向量机、卷积神经网络以及词向量等，同时提出了自动标记的方法，并在孟加拉语最大的新闻分类数据集 Potrika 上评估了它们的性能。

    Oct, 2022