情感分析和情感识别中的多模态提示学习与缺失模态
本文提出了一种名为EMT-DLFR的通用且统一的框架，以解决当前多模态数据建模过程中的两个主要挑战：一是无法进行未对齐的多模态数据中的跨模态交互，而是存在随机模态特征缺失问题，此框架令多模态交互更加高效且应对缺失数据具有更强的鲁棒性。
Aug, 2022
本文提出一种使用prompt learning的多模态学习框架，从而解决真实世界中遇到的模态缺失和模型训练资源需要的挑战。框架中含有modality-missing-aware prompts，可插入到多模态transformers中处理不同的模态缺失情况，同时只需要少于1%的可学习参数。实验结果表明，该框架有效地提高了在各种模态缺失情况下的性能。
Mar, 2023
提出了一种基于Transformer的架构，用于识别情绪的正性和负性，即使输入模态缺失，该模型通过交叉关注和自关注机制强调模态之间的关系，提高了对弱显著输入的学习过程，并在Ul-TSST数据集上实验，与后期融合基准方法相比，预测唤醒值的一致性相关系数的评估提高了37％，预测价值的一致性相关系数的评估提高了30%。
Nov, 2023
提出了一种新颖的知识传递网络来在不同的感知模式之间进行翻译以重构缺失的音频模式，并且采用了跨模态注意机制以保留重构和观察到的模态的最大信息，用于情感预测。通过对三个公开数据集进行大量实验证明，相较于基线方法实现了显著的改进，并在完全多模态监督方面取得了与之前方法相当的结果。
Dec, 2023
提出了一种简单而有效的框架TRML，即利用多模态基础模型进行鲁棒多模态学习，通过生成虚拟模态替代丢失模态，并对生成和丢失模态之间的语义空间进行对齐，从而捕捉缺失模态的语义。在完整模态的情况下，我们的模型通过利用交叉模态语义空间的对齐来捕捉丢失模态的语义。实验证明我们的方法在三个多模态情感分析基准数据集CMU-MOSI、CMU-MOSEI和MELD上具有优势。
Jan, 2024
综合利用预训练模型参数高效微调和自监督联合嵌入学习方法，本文提出了一种解决多模态学习中缺失模态问题的新框架，通过利用可用模态的信息，该框架使模型能够在推理期间在表示空间中预测缺失模态的嵌入，在多个多模态基准数据集上评估方法，展示了它在各种缺失模态的情景中的有效性和鲁棒性。
Jul, 2024
本研究解决了大规模多模态模型在实际应用中对缺失模态输入性能下降的问题。通过引入提示学习，将缺失模态视为不同类型的输入，利用提示与输入特征之间的关联性来优化提示设计。实验证明，相比于以往方法，该研究在多个缺失模态场景下展现出更优越的性能。
Oct, 2024
本研究针对现有多模态模型在缺失模态情况下性能下降的问题，提出了一种基于提示学习的方法。通过挖掘提示与输入特征之间的相关性，并结合不同模态的互补语义，设计了能够有效适应缺失模态的提示架构。实验结果显示，该方法在不同缺失场景下优于传统方法，展现了其广泛适用性和可靠性。
Oct, 2024
本研究针对大规模多模态模型在缺失模态情况下性能下降的问题，通过提示学习方法，提出了一种将不同缺失情形视作不同输入的新策略。研究显示，通过挖掘提示与输入特征之间的相关性，并结合多模态的互补语义，可以有效提升模型在缺失模态场景下的表现，实验结果表明该方法在多个数据集上优于现有技术。
Oct, 2024