Mar, 2022

LILE: 使用 Transformer 的双重注意力网络进行组织病理学资料检索前深入查看

PDF
TL;DR提出了一种使用自注意力作为额外损失项的新架构，以在联合潜在空间中表示图像和文本；在 MS-COCO 和 ARCH 两个基准数据集上进行的实验结果表明，该方法具有很好的效果。
发现论文，激发创造
  • 探索和提取跨模态信息以用于图像字幕生成

    本研究提出基于 Transformer 的全局与局部信息探索与提炼方法，在跨模态视角下探究图像字幕生成，并在 COCO 测试集上取得了 129.3 的 CIDEr 分数。

    Feb, 2020

  • 基于注意力模型的跨领域图像检索

    本文旨在通过在电商网站上的标签信息和候选图像上下文信息，利用了 TagYNet 和 CtxYNet 等深度卷积神经网络架构，以实现对基于智能手机拍摄的图像进行检索的 Attention weights 计算和图像特征提取，可显著提高检索的准确率和效率。

    Sep, 2017

  • 遥感数据融合的不完全多模态学习

    本文提出了一种新颖的不完整多模态学习模型，结合双向 LSTM 注意力和掩蔽自注意机制来收集多模态信号，利用重构和对比损失来促进预训练中的融合，能在处理数据不完整输入时达到当前最佳性能水平。

    Apr, 2023

  • 基于集成自注意力相互学习的文档图像分类网络

    该论文提出了一种使用自注意力融合模块与互相学习方法来进行文档图像分类的新模型， 在单模态和多模态数据集上均优于当前最先进技术。

    May, 2023

  • 多模态注意力神经机器翻译

    本文将多模态注意力机制应用于图像字幕生成领域，通过在自然语言描述和图像上同时聚焦，实现了一种基于图像字幕的另一种语言描述生成方法，并在 Multi30k 数据集上取得了更好的效果。

    Sep, 2016

  • 多模态转换器中数据、注意力和损失的解耦

    本文章论述通过训练多模态 transformer 模型，其在语言和视觉任务上的表现证明了其可以学习到丰富的视觉 - 语言表达。其着重于零样本图像检索任务，并研究了三个重要因素：预训练数据、注意机制和损失函数，以评估其对于模型性能的影响。

    Jan, 2021

  • 快速检索、智能重新排名：协作和联合方法改进跨模态检索

    本文提出了一种基于 fine-tuning 的框架，将任何预先训练的文本 - 图像多模态模型转换为高效的检索模型，并通过 cooperative retrieve-and-rerank 方法结合双网络和交叉编码器，实现更准确、更高效的跨模态检索。

    Mar, 2021

  • HEALNet -- 混合多模态融合为异构生物医学数据

    采用新技术对医学数据进行收集，如高分辨率组织病理学和高通量基因组测序，为多模态生物医学建模提供了支持。本文介绍了一种灵活的多模态融合架构 —— 混合早期融合注意力学习网络（HEALNet），能够有效处理训练和推断中缺失的模态，提供了最新的多模态基准，并在存在缺失模态的场景中获得卓越性能。

    Nov, 2023

  • 医学影像分析中是否仅靠注意力足够？综述

    对于医学成像中的混合 CNN-Transf/Attention 模型进行了系统回顾，研究了主要的结构设计、突破、机遇和挑战，同时引入了基于该模型的数据驱动域泛化和适应方法的综合分析框架。

    Jul, 2023

  • 密集型多任务学习的跨任务注意机制

    该研究介绍了一种多任务学习架构，通过相关性引导的注意力和自我关注增强平均表示学习，以通过 2D 语义分割和几何相关的任务来综合理解复杂场景，并在室内和室外数据集上展示了其好处。

    Jun, 2022