Jul, 2022

巴西法律文件的序列感知多模态页面分类

PDF
TL;DR本研究探讨了巴西最高法院文件的多模式分类，采用 ResNet 与多核卷积神经网络提取视觉和文本特征以及 biLSTM 网络建模页面的序列性，发现多模式分类优于单一模式分类。
brazilian supreme courtmultimodal classificationdocument analysisresnetbi-directional long short-term memory
发现论文，激发创造
  • 法律文件页面的上下文感知分类

    本研究提出了一种简单而有效的方法，通过引入循环来增强输入，使得预训练的 Transformer 模型可以用于上下文感知的页面分类，进而显著提高文档页面分类的性能。

    Apr, 2023

  • 使用 Bi-LSTM 进行文档分类以排除巴西最高法院的拥堵

    本文提出了一种使用双向长短期记忆网络（Bi-LSTM）对巴西法院系统中分类法律文件进行分析的方法。

    Nov, 2018

  • 基于文本和图像的多模态深度网络文档分类

    本文介绍了一种多模态神经网络，结合了 OCR 提取的文本和图像信息，来对文献图像进行分类。该方法在 Tobacco3482 和 RVL-CDIP 数据集上的准确率提高了 3%。

    Jul, 2019

  • 文件分类的模块化多模态架构

    文本和图像内容均可用于页面分类，该方法在 RVL-CDIP 基准测试中实现了 93.03% 的准确率，超过了当前技术水平。

    Dec, 2019

  • 使用多模态全卷积神经网络学习从文档中提取语义结构

    该研究提出了一种全卷积网络，通过多模态方法从文档图像中提取语义结构，并使用像素级分割方式考虑文档的语义结构提取。该方法不仅考虑文本的视觉外观，还考虑文本的内容，通过有效的合成文档生成数据进行预训练和半监督学习方法滴定优化网络架构，施加于真实文档上，此方法极大地提高了分割的性能表现。

    Jun, 2017

  • 科学文献中的定理和证明的多模态机器学习

    使用多模态分类方法从数学文章中提取定理环境和证明，包括文本、字体信息和位图渲染等多个模态，并采用序列信息进行特征融合和模型训练。实验证明多模态方法比单一模态更有效，并且采用基于条件随机场的块序列建模可以显著提高性能。

    Jul, 2023

  • 银行流程自动化的多模态文档分析

    本研究旨在通过理解先进的文档分析技术，特别是多模态模型，在银行业务的操作效率提升和应对金融科技竞争方面的潜力。通过综合分析多样化的银行文件环境，我们展示了通过自动化和高级分析技术在客户业务中提高效率的机会。借助自然语言处理领域的快速发展，我们阐明了在银行业领域分析各种文件的 LayoutXLM 等模型潜力。该模型可对德国公司注册文件进行文本标记分类，整体 F1 得分约为 80%。我们的实证证据证实了布局信息在提高模型性能方面的关键作用，并进一步强调了整合图像信息的好处。有趣的是，我们的研究表明，仅使用 30% 的训练数据就可以达到超过 75% 的 F1 得分，证明了 LayoutXLM 的高效性。通过解决最先进的文档分析框架，我们的研究旨在提高流程效率，展示多模态模型在银行业务中的实际适用性和好处。

    Jul, 2023

  • 基于层次融合的多模态电子商务产品分类

    本研究提出了一种多模态模型，通过使用多个神经网络模型从文本（CamemBERT 和 FlauBERT）和视觉数据（SE-ResNeXt-50）提取的特征，并采用简单的融合技术，显著提高了单一模态模型的性能和类似模型性能，我们实验了多种融合技术，并发现将单一模态网络的个体嵌入组合为特征向量的拼接和平均值结合的性能最好，每种模态互补了其他模态的缺点，证明增加模态数量可以是改善多标签和多模态分类问题性能的有效方法。

    Jul, 2022

  • 一个基于混合深度学习框架的视频分类多模态信息建模模型

    本文研究如何利用多模态线索来改进视频分类。我们提出了一个混合的深度学习框架，它将静态空间外观信息、短时间内的运动模式、音频信息以及长时序动态性等多个模态的线索集成起来，以捕捉它们之间的关系，并通过多次实验表明，该框架可以提高视频分类的准确度。

    Jun, 2017

  • 基于注意力机制的多模态数据顺序推荐系统

    提出了一种基于多模态数据的关注机制的序列推荐方法，该方法利用图像、文字和类别等多模态数据，利用 attention 操作和多任务学习损失，提高了推荐系统的性能。

    May, 2024