该研究提出了一种多模态医学 Transformer (mnFormer)，用于不完整多模态学习的脑肿瘤分割，并且该方法在 BraTS 2018 数据集上显示出了比现有方法更好的表现。

Jun, 2022

提出了一种新颖的融合策略，能够有效地融合来自四种不同模态（RGB、AoLP、DoLP 和 NIR）的信息，结合提出的融合策略，使用新模型 Multi-Modal Segmentation Transformer（MMSFormer）在 MCubeS 数据集上实现了 52.05% 的 mIoU，并且在检测砾石（+10.4%）和人物（+9.1%）类别方面提供了显著的改进。

Sep, 2023

本研究提出一种交互式图像分割网络，利用跨模态视觉 transformers 来更好地指导学习过程，并且在多个基准测试中实现了优越的性能表现，具有实用的注释工具潜力。

Jul, 2023

通过使用单一的条件模型，根据输入类型调整其归一化层来实现多模态图像的公平图像分割，并在多模态全心分割挑战中优于其他跨模态分割方法。

Oct, 2023

提出了一种用于图像融合和分割的多交互特征学习架构，名为 SegMiF，利用双任务相关性促进两个任务的性能表现。

Aug, 2023

多模医学成像在临床诊断和研究中起着关键作用，深度学习多模态融合技术在提高医学图像分类方面显示出强大的工具。本综述对基于深度学习的医学分类任务中的多模态融合的发展进行了彻底分析，包括不同融合方案和网络架构的性能评估，讨论了相关挑战和未来研究方向。

Apr, 2024

本篇研究提出了一种基于 CLIP 引导的对比学习的架构，用于执行多模态特征对齐，将来自不同模态的特征投影到一个统一的深度空间，实验结果表明，我们提出的模型在多模态讽刺检测和多模态情感分析任务中明显优于多个基准模型，我们的特征对齐策略相对于其他聚合方法和甚至富含知识的模型也带来了明显的性能增益，此外，我们的模型实现简单，无需使用特定任务的外部知识，因此可以轻松迁移到其他多模态任务。

Mar, 2024

本文提出了在监督医学图像分析中进行图像融合方案的概念架构，实现了基于卷积神经网络的三种图像融合方案，并将其结合成单个框架，用于同时分析多模式图像，检测软组织肉瘤的存在，并发现在特征级别融合的情况下，性能最好，但当任何图像模式存在大误差时，其鲁棒性会降低。

Oct, 2017

本文介绍了 Mixed-Query Transformer (MQ-Former) 作为一种统一的架构，用于多任务和多数据集图像分割，并使用单套权重进行处理，同时提出了混合查询策略、数据增强和开放式分割任务来进一步改进模型的泛化性能。实验证明 MQ-Former 可以有效地处理多个分割数据集和任务，并相比专门的最先进模型表现出竞争性能，同时在开放词汇 SeginW 基准测试上表现出超过 7 个百分点的性能提升。

Apr, 2024

本篇论文提出了一种基于 Transformer 的多模态相互注意力机制和相互解码器，与之相结合的迭代式多模态交互机制及语言特征重建技术，在指代图像分割的任务中取得了很好的效果。

May, 2023