Jul, 2019

基于文本和图像的多模态深度网络文档分类

PDF
TL;DR本文介绍了一种多模态神经网络，结合了 OCR 提取的文本和图像信息，来对文献图像进行分类。该方法在 Tobacco3482 和 RVL-CDIP 数据集上的准确率提高了 3%。
document imagesclassificationcomputer visiondeep learningmultimodal neural network
发现论文，激发创造
  • 使用多模态全卷积神经网络学习从文档中提取语义结构

    该研究提出了一种全卷积网络，通过多模态方法从文档图像中提取语义结构，并使用像素级分割方式考虑文档的语义结构提取。该方法不仅考虑文本的视觉外观，还考虑文本的内容，通过有效的合成文档生成数据进行预训练和半监督学习方法滴定优化网络架构，施加于真实文档上，此方法极大地提高了分割的性能表现。

    Jun, 2017

  • 使用多模态特征进行设备端文档分类

    本文介绍了一种将光学字符识别（OCR）与模型架构集成的新型分类文档的方法，用于在设备上进行分类，防止私人用户数据传输到服务器，并展示在 FOOD-101 多模态数据集上，将模型压缩 30％后展示了竞争性的结果。

    Jan, 2021

  • 一个多模态多语言文件图像分类基准

    文档图像分类是一项与纯文本文档分类不同的任务，它通过理解表单、电子邮件和其他文档的内容和结构来对文档进行分类。本研究介绍了两个新的多语言数据集 WIKI-DOC 和 MULTIEURLEX-DOC，克服了现有数据集的限制。此外，本研究对以前未经测试的文档图像分类任务中的流行视觉丰富的文档理解或文档智能模型进行了全面研究，包括多标签分类和零样本跨语言迁移设置。实验结果显示多语言文档智能模型在跨语言迁移上存在一定的局限性。我们的数据集和研究结果为未来改进文档智能模型打开了大门。

    Oct, 2023

  • 巴西法律文件的序列感知多模态页面分类

    本研究探讨了巴西最高法院文件的多模式分类，采用 ResNet 与多核卷积神经网络提取视觉和文本特征以及 biLSTM 网络建模页面的序列性，发现多模式分类优于单一模式分类。

    Jul, 2022

  • 文件分类的模块化多模态架构

    文本和图像内容均可用于页面分类，该方法在 RVL-CDIP 基准测试中实现了 93.03% 的准确率，超过了当前技术水平。

    Dec, 2019

  • 关于大型多模型模型中 OCR 的隐秘之谜

    该论文通过对现有公开的多模态模型进行综合研究，评估它们在文本识别、基于文本的视觉问题回答和关键信息提取等任务中的性能，发现这些模型主要依赖于语义理解进行字识别，对单个字符形状的感知较差，同时对文本长度漠不关心，无法有效检测图像中的细粒度特征，在传统文本任务中尚无法与领域特定方法相媲美，面临更大的挑战。

    May, 2023

  • 极端学习图像多模态深度网络压缩

    本文提出了一种文字引导图像压缩的多模态机器学习方法，通过使用文本的语义信息来引导图像压缩，以实现更好的压缩性能，包括采用图像 - 文本注意力模块和改进的多模态语义一致性损失函数。实验证明，该方法能够在极低比特率下获得较好的视觉效果，并且即使与最先进的技术相比，其性能也可以相媲美或超越。

    Apr, 2023

  • 使用多模态深度学习整合医学影像与临床报告进行先进疾病分析

    通过创新的多模态深度学习模型，本文旨在深度整合医学图像和临床报告等异构信息。使用卷积神经网络提取高维特征，捕捉关键视觉信息；利用双向长短时记忆网络结合注意机制，在临床报告文本中进行深度语义理解，准确捕捉与疾病相关的关键陈述。通过设计的多模态融合层，有效实现图像和文本的联合表征学习。实证研究中，利用大型医学图像数据库和相应的临床报告进行模型训练和验证，实验结果明显展示了多模态深度学习模型在疾病分类、损伤定位和临床描述生成方面的显著优越性。

    May, 2024

  • 基于场景文本的细粒度图像分类与检索的多模态推理图

    本文采用图卷积网络结合场景文本实例和显著图像区域进行多模态推理，在 Con-Text 和 Drink Bottle 数据集中，在细粒度图像分类和图像检索任务中显著优于之前的最新技术。

    Sep, 2020

  • 深度卷积网络在文件图像分类和检索中的评估

    本文提出了一种利用深度卷积神经网络学习特征进行文档图像分类和检索的最新技术，证实与手工制作的替代方法相比，能够更好地学习抽象特征，且具有压缩鲁棒性和跨领域迁移性，并在新的 IIT-CDIP 数据集中提供了 400,000 个文档图像用于深度学习。

    Feb, 2015