处理所有阶段缺失的形式：朝着具有健壮重建和个性化能力的通用模型

Jun, 2024

处理所有阶段缺失的形式：朝着具有健壮重建和个性化能力的通用模型

Dealing with All-stage Missing Modality: Towards A Universal Model with Robust Reconstruction and Personalization

Yunpeng Zhao, Cheng Chen, Qing You Pang, Quanzheng Li, Carol Tang...

TL;DR提出了一种具有模态重建和模型个性化的健壮的通用模型，能够在训练和测试阶段有效地处理缺失的模态，通过多模态掩码自编码器重构缺失的模态和掩码补丁，利用创新的分布近似机制充分利用完整和不完整的数据，提出了基于 CLIP 的超网络来个性化模型参数，能够适应不同的缺失模态场景，并在两个脑肿瘤分割基准上得到广泛验证，在不同缺失比例的全阶段缺失模态设置下始终超过先前最先进的方法，代码将可用。

Abstract

Addressing missing modalities presents a critical challenge in multimodal learning. Current approaches focus on developing models that can handle modality-incomplete inputs during inference, assuming that the full set of modalities are available for all the data during training. This r

missing modalities multimodal learning modality reconstruction model personalization brain tumor segmentation

发现论文，激发创造

异模态变分编码器 - 解码器用于联合模态完成和分割

本研究提出了一种新的深度学习方法用于肿瘤分割，特别是在处理数据缺失时具备先进性。首先，将所有观察到的模态独立地嵌入到共享潜在表示中，然后从这个潜在表示中生成缺失数据和肿瘤分割。最后，通过将双方的优点与 3D U-Net 和多模态变分自编码器相结合，提出了一种新的网络结构。

Jul, 2019

多模式机器学习中通过原型掩码和对比度处理缺失模态

通过引入原型库到基于 FedAvg 的联邦学习框架，提出了一种解决模态缺失问题的方法，利用原型作为缺失模态的掩码来构建任务校准的训练损失和模型不可知的单模态推断策略，实验证明该方法在推断准确性方面达到了最先进水平。

Dec, 2023

面向缺失模态鲁棒性行为识别的良好实践

本文针对多模态动作识别及其中一些模态不可用情况提出一套良好的实践方法，包括数据增强、基于 Transformer 的融合方法以及一个名为 ActionMAE 的模块化网络。通过采用这些方法，建立一个不仅在多模态动作识别中有效，同时对于模态缺失情况也具有鲁棒性的模型，并在多个基准测试中实现了最新技术，并在模态缺失场景中保持有竞争力的表现。

Nov, 2022

通过参数高效适应处理缺失模态的鲁棒多模态学习

使用多模态学习提高下游任务的性能，并通过简单且参数高效的自适应过程针对缺失的模态实现鲁棒性。

Oct, 2023

揭示不完整模态脑肿瘤分割：利用掩蔽预测自编码器和发散学习

通过使用 masked predicted pre-training 和 knowledge distillation 技术，以及采用 Holder pseudo-divergence 代替 KLD 作为 distillation loss，该研究在多模式磁共振成像中对脑肿瘤进行分割，取得了显著的性能提升。

Jun, 2024

借宝于邻：针对多模态学习的上下文学习在缺失模态和数据稀缺情况下的应用

通过使用检索增强上下文学习来解决多模态机器学习中缺失模态和样本有限的问题，提高分类模型性能和样本效率。

Mar, 2024

缺失模态插值的统一多模态图像合成

该论文提出了一种新的统一的多模式图像综合方法，包括通过生成敌对网络从任意可用模式的组合中合成丢失的模态，并使用共性和差异敏感编码器及动态特征统一模块来提高图像合成质量和适应性，实验结果表明该方法在处理多种综合任务时具有优越的性能。

Apr, 2023

多模导向网络用于缺失模态推断

提出了一种通过引导网络在训练阶段促进知识共享，利用多模式表示训练用于推理的更好的单模式模型，以解决存在缺失模式的多模态模型应用受限和过高计算成本的问题。通过真实生活中的暴力检测实验证明，所提出的框架训练的单模式模型明显优于传统训练的模型，并且推理成本相同。

Sep, 2023

半监督多模式语义分割中的缺失模态稳健性

提出一种简单且高效的多模态融合机制：线性融合（Linear Fusion），通过半监督学习的方式提高了多模态语义分割的性能，并使模型对现实世界中缺失模态的情况更加健壮。

Apr, 2023

面对缺失模态问题，如何打造强大的多模态模型？

多模态学习中处理缺失模态的信息论方法，通过引入 Uni-Modal Ensemble with Missing Modality Adaptation 技术，实现了对非缺失模态的特征提取和融合过程中的噪声鲁棒性增强，适用于广泛的模态并可无缝集成大规模预训练编码器，展示了在音频 - 视觉数据集和视觉 - 语言数据集上的有效性。

Oct, 2023