May, 2023

基于集成自注意力相互学习的文档图像分类网络

PDF
TL;DR该论文提出了一种使用自注意力融合模块与互相学习方法来进行文档图像分类的新模型， 在单模态和多模态数据集上均优于当前最先进技术。
document image classificationdeep neural networksself-attention-based fusion modulemutual learningensemble trainable network
发现论文，激发创造
  • LILE: 使用 Transformer 的双重注意力网络进行组织病理学资料检索前深入查看

    提出了一种使用自注意力作为额外损失项的新架构，以在联合潜在空间中表示图像和文本；在 MS-COCO 和 ARCH 两个基准数据集上进行的实验结果表明，该方法具有很好的效果。

    Mar, 2022

  • 基于文本和图像的多模态深度网络文档分类

    本文介绍了一种多模态神经网络，结合了 OCR 提取的文本和图像信息，来对文献图像进行分类。该方法在 Tobacco3482 和 RVL-CDIP 数据集上的准确率提高了 3%。

    Jul, 2019

  • 编码器融合网络和协同关注嵌入用于参照图像分割

    本论文提出了一种图像分割方法，即采用编码器融合网络（EFN）将视觉编码器转换为多模态特征学习网络，利用语言逐步优化多模态特征；在 EFN 中嵌入了协同注意机制，使得多模态特征的平行更新更具协同性，同时提出了边界增强模块（BEM）来增强网络对细节的关注，在四个基准数据集上的实验结果表明所提出的方法在不同的评价指标下均取得了最先进的性能，且无需后处理。

    May, 2021

  • 具有潜在共同关注的身份感知文本 - 视觉匹配

    本文提出了一个基于身份感知的两阶段框架，通过新颖的 CMCE 损失函数和潜在的共同注意机制来提高文本 - 视觉匹配的准确性，实验证明其相对于先前的最先进方法取得了显著的性能改进。

    Aug, 2017

  • 多视角关注的图像文本匹配

    提出了一个针对两流图像 - 文本匹配的多视图注意力方法（MVAM），通过多样的注意头学习多个图像和文本表示，并将这些表示连接起来进行匹配，以实现更好的匹配性能和更全面的表示。

    Feb, 2024

  • AMC：基于注意力的多模态相关学习用于图像搜索

    本文提出了一种基于注意力机制的多模式关联（AMC）学习方法，该方法可以使图像检索受益于可用的丰富模式信息，进而提高检索结果的排序准确性。

    Apr, 2017

  • 多模式统一关注网络用于视觉语言交互

    本研究提出了一种统一的注意力模型，能够同时捕捉多模态特征的内部和跨模态之间的相互作用，并输出相应的注意力表示。通过堆叠这样的统一注意力块，我们获得了深度多模态统一注意力网络 (MUAN)，可以无缝地应用于视觉问答 (VQA) 和视觉定位任务。通过在两个 VQA 数据集和三个视觉定位数据集上评估 MUAN 模型，结果表明 MUAN 在两个任务上都实现了顶级性能。

    Aug, 2019

  • 一种混合卷积和双向 LSTM 网络中循环探索类别关注的方法，用于多标签航空图像分类

    本文提出 CA-Conv-BiLSTM 网络，用于航空图像多标签分类。该网络利用三个不可少的部件提取语义特征图，捕获具有可辨别性的类特定特征，并在双向 LSTM 子网络中建模底层类依赖关系，从而产生结构化的多对象标签。实验证明，该模型在 UCM 多标签数据集和 DFC15 多标签数据集上具有定量和定性的有效性。

    Jul, 2018

  • 用于指涉图像分割的跨模态自注意力网络

    本文提出了一种跨模态自注意模块 (CMSA)，可以有效地捕捉语言和视觉特征之间的长距离依赖关系，并且采用门控多层融合模块，以选择性地集成不同级别的特征。在多个数据集上的验证表明，我们的方法在图像分割任务上显著优于现有的最先进的方法。

    Apr, 2019

  • 融合模型用于改进视觉字幕生成

    本文提出了一个通用的多模态模型融合框架，以及将预训练的辅助语言模型 (AuxLM) 和掩码语言模型 (MLM) 进行多模态融合，以改进生成的图像描述的质量和纠正其语法和语义错误。在三个基准数据集上的实验结果显示出了明显的改进。

    Oct, 2020