Nov, 2023

ETDPC：电子学位论文页分类的多模态框架

PDF
TL;DR提出了一种基于两流多模型和交叉注意网络的电子学位论文页面分类方法，该方法在数据效率方面取得了较好的效果，并在 13 个类别中的 9 个类别上取得了 0.84-0.96 的 F1 值，优于现有模型。
electronic theses and dissertationsetdsdocument page classificationmultimodal modeldata efficiency
发现论文，激发创造
  • 超越文档页面分类：设计、数据集和挑战

    本文强调将文档分类基准测试更贴近实际应用的需求，包括在测试的数据性质 ($X$：多通道、多页、多行业；$Y$：类别分布和标签集的多样性) 以及所考虑的分类任务 ($f$：多页文档、页面流和文档捆绑分类)；我们确定了公共多页文档分类数据集的缺乏，形式化了应用场景中产生的不同分类任务，并提出了针对高效多页文档表示的价值的动机；对所提出的多页文档分类数据集进行的实证研究表明，当前的基准测试已经不再相关，需要更新以评估实际中出现的完整文档；这种现实检验也呼吁采用更成熟的评估方法，包括校准评估、推理复杂性（时间 - 内存）和一系列现实分布变化（如 born-digital vs. 扫描噪音、页面次序变化）；我们研究以对未来改进提出具体建议的希望之声作为结束。

    Aug, 2023

  • 文件分类的模块化多模态架构

    文本和图像内容均可用于页面分类，该方法在 RVL-CDIP 基准测试中实现了 93.03% 的准确率，超过了当前技术水平。

    Dec, 2019

  • 巴西法律文件的序列感知多模态页面分类

    本研究探讨了巴西最高法院文件的多模式分类，采用 ResNet 与多核卷积神经网络提取视觉和文本特征以及 biLSTM 网络建模页面的序列性，发现多模式分类优于单一模式分类。

    Jul, 2022

  • MetaEnhance: 大学图书馆电子学位论文的元数据质量改进

    本文提出了 MetaEnhance 框架，针对数字化档案的元数据质量问题，使用电子学位论文的七个关键字段进行自动检测，纠错和规范化，测试结果表明这种方法可以几乎完美地检测和修复错误。

    Mar, 2023

  • 法律文件页面的上下文感知分类

    本研究提出了一种简单而有效的方法，通过引入循环来增强输入，使得预训练的 Transformer 模型可以用于上下文感知的页面分类，进而显著提高文档页面分类的性能。

    Apr, 2023

  • 基于文本和图像的多模态深度网络文档分类

    本文介绍了一种多模态神经网络，结合了 OCR 提取的文本和图像信息，来对文献图像进行分类。该方法在 Tobacco3482 和 RVL-CDIP 数据集上的准确率提高了 3%。

    Jul, 2019

  • 多模态树解码器用于文档图像中的目录提取

    本文提出了一个新的端到端的模型，使用多模式树解码器 (MTD) 来作为 HierDoc 的基准评测，在提取文档标题和分级之间的关系时，模型使用文本、视觉、布局信息等多模态特征进行融合，最终在 TEDS 相似度度量和 F1-Measure 上平均分别达到了 87.2% 和 88.1% 的表现。

    Dec, 2022

  • 重新审视基于 Transformer 的长文档分类模型

    本研究使用稀疏注意力机制和分层变换器方法，对基于 Transformers 的长文本分类进行比较，探讨了四个文本分类数据集，并得出了实际应用此方法的实用建议。

    Apr, 2022

  • 基于图像的表格识别：数据、模型和评估

    本研究提出了一个基于编码器 - 解码器结构的深度学习模型，用于将表格图像转换为 HTML 代码，并使用一种新的基于 Tree-Edit-Distance 相似度（TEDS）度量方法实现表格识别，实验结果表明所提出的模型在复杂表格识别方面具有优秀的表现。

    Nov, 2019

  • 使用多模态特征进行设备端文档分类

    本文介绍了一种将光学字符识别（OCR）与模型架构集成的新型分类文档的方法，用于在设备上进行分类，防止私人用户数据传输到服务器，并展示在 FOOD-101 多模态数据集上，将模型压缩 30％后展示了竞争性的结果。

    Jan, 2021