本文提出一种使用prompt learning的多模态学习框架，从而解决真实世界中遇到的模态缺失和模型训练资源需要的挑战。框架中含有modality-missing-aware prompts，可插入到多模态transformers中处理不同的模态缺失情况，同时只需要少于1%的可学习参数。实验结果表明，该框架有效地提高了在各种模态缺失情况下的性能。

Mar, 2023

本研究提出了分区多模态提示方法（PMPO），将软提示从单个可学习提示扩展到多个提示，以捕获视觉表示的分层上下文深度。此外，我们结合手动设计的模板和可学习的多提示，以提高方法的泛化能力，并在新类别概括、跨数据集评估和领域泛化等三项具有挑战性的任务上验证了它的有效性。

May, 2023

使用具体的提示设计来提高多模态学习的性能和鲁棒性，并减少提示的数量。

Dec, 2023

通过使用提示学习、引入生成提示、缺失信号提示和缺失类型提示，我们提出了一种新的多模态Transformer框架，从而解决了缺失模态的问题，并在所有评估指标上显著优于其他方法，通过大量的实验和消融研究证明了我们方法的有效性和鲁棒性，展示了其有效处理缺失模态的能力。

Jul, 2024

综合利用预训练模型参数高效微调和自监督联合嵌入学习方法，本文提出了一种解决多模态学习中缺失模态问题的新框架，通过利用可用模态的信息，该框架使模型能够在推理期间在表示空间中预测缺失模态的嵌入，在多个多模态基准数据集上评估方法，展示了它在各种缺失模态的情景中的有效性和鲁棒性。

Jul, 2024

本研究解决了现有多模态网络在处理缺失模态时性能下降的问题。提出的模态不变多模态学习方法采用单分支网络，能够共享权重以学习模态间表示，从而提高对缺失模态的鲁棒性。实验结果表明，该方法在所有模态均存在的情况下及缺失模态的情况下均优于现有最先进的方法。

Aug, 2024

本研究解决了在多模态模型训练和推理过程中，由于缺失模态而导致模型性能下降的问题。通过全面回顾深度学习技术在缺失模态多模态学习（MLMM）中的应用，论文阐明了MLMM与标准多模态学习的区别，分析了当前的方法和挑战，揭示了该领域的未来发展方向。

Sep, 2024

本研究解决了多模态学习中由于模态缺失导致的模型性能下降问题，特别关注缺失模态的深度学习技术。论文的独特之处在于其全面回顾了多模态学习缺失模态（MLMM）的历史背景和方法，最显著的发现是当前MLMM方法的应用及其未来发展方向带来的潜在影响。

Sep, 2024

本研究解决了大规模多模态模型在实际应用中对缺失模态输入性能下降的问题。通过引入提示学习，将缺失模态视为不同类型的输入，利用提示与输入特征之间的关联性来优化提示设计。实验证明，相比于以往方法，该研究在多个缺失模态场景下展现出更优越的性能。

Oct, 2024

本研究针对现有多模态模型在缺失模态情况下性能下降的问题，提出了一种基于提示学习的方法。通过挖掘提示与输入特征之间的相关性，并结合不同模态的互补语义，设计了能够有效适应缺失模态的提示架构。实验结果显示，该方法在不同缺失场景下优于传统方法，展现了其广泛适用性和可靠性。

Oct, 2024