Sep, 2024

关于缺失模态的深度多模态学习的综合调查

HTML
PDF
TL;DR本研究解决了多模态学习中由于模态缺失导致的模型性能下降问题，特别关注缺失模态的深度学习技术。论文的独特之处在于其全面回顾了多模态学习缺失模态（MLMM）的历史背景和方法，最显著的发现是当前MLMM方法的应用及其未来发展方向带来的潜在影响。
发现论文，激发创造
  • SMIL: 大量缺失模态的多模态学习

    本文研究多模态学习中缺失模态的问题，提出一种基于贝叶斯元学习的方法SMIL，可同时实现训练及测试数据中缺失模态的灵活性及训练数据大量缺失模态时的高效性，实验证明SMIL方法在MM-IMDb、CMU-MOSI和avMNIST三个数据集上的性能均优于现有方法和生成基线，代码可从链接获取。

    Mar, 2021

  • 多模式协同学习: 挑战、数据集应用、最新进展与未来方向

    该研究对于多模态联合学习进行了全面系统的综述，介绍了多种技术和应用，讨论了存在的挑战和未来的研究方向。

    Jul, 2021

  • 多模态机器学习的基础和趋势：原理、挑战和开放性问题

    本文旨在探讨多模态机器学习的计算与理论基础，定义了三个关键原则和六个核心技术挑战，并提出多个未来研究的开放性问题。

    Sep, 2022

  • 多模态视觉识别中缺失模态的多模态提示

    本文提出一种使用prompt learning的多模态学习框架，从而解决真实世界中遇到的模态缺失和模型训练资源需要的挑战。框架中含有modality-missing-aware prompts，可插入到多模态transformers中处理不同的模态缺失情况，同时只需要少于1%的可学习参数。实验结果表明，该框架有效地提高了在各种模态缺失情况下的性能。

    Mar, 2023

  • 通过参数高效适应处理缺失模态的鲁棒多模态学习

    使用多模态学习提高下游任务的性能，并通过简单且参数高效的自适应过程针对缺失的模态实现鲁棒性。

    Oct, 2023

  • 面对缺失模态问题，如何打造强大的多模态模型？

    多模态学习中处理缺失模态的信息论方法，通过引入Uni-Modal Ensemble with Missing Modality Adaptation技术，实现了对非缺失模态的特征提取和融合过程中的噪声鲁棒性增强，适用于广泛的模态并可无缝集成大规模预训练编码器，展示了在音频-视觉数据集和视觉-语言数据集上的有效性。

    Oct, 2023

  • 借宝于邻: 针对多模态学习的上下文学习在缺失模态和数据稀缺情况下的应用

    通过使用检索增强上下文学习来解决多模态机器学习中缺失模态和样本有限的问题，提高分类模型性能和样本效率。

    Mar, 2024

  • 通过单模型联合嵌入进行无配对多模态学习中的遗漏模态预测

    综合利用预训练模型参数高效微调和自监督联合嵌入学习方法，本文提出了一种解决多模态学习中缺失模态问题的新框架，通过利用可用模态的信息，该框架使模型能够在推理期间在表示空间中预测缺失模态的嵌入，在多个多模态基准数据集上评估方法，展示了它在各种缺失模态的情景中的有效性和鲁棒性。

    Jul, 2024

  • 处理缺失模态的模态不变多模态学习：单分支方法

    本研究解决了现有多模态网络在处理缺失模态时性能下降的问题。提出的模态不变多模态学习方法采用单分支网络，能够共享权重以学习模态间表示，从而提高对缺失模态的鲁棒性。实验结果表明，该方法在所有模态均存在的情况下及缺失模态的情况下均优于现有最先进的方法。

    Aug, 2024

  • 缺失模态的深度多模态学习综合调研

    本研究解决了在多模态模型训练和推理过程中，由于缺失模态而导致模型性能下降的问题。通过全面回顾深度学习技术在缺失模态多模态学习（MLMM）中的应用，论文阐明了MLMM与标准多模态学习的区别，分析了当前的方法和挑战，揭示了该领域的未来发展方向。

    Sep, 2024