Aug, 2024

处理缺失模态的模态不变多模态学习：单分支方法

HTML
PDF
TL;DR本研究解决了现有多模态网络在处理缺失模态时性能下降的问题。提出的模态不变多模态学习方法采用单分支网络，能够共享权重以学习模态间表示，从而提高对缺失模态的鲁棒性。实验结果表明，该方法在所有模态均存在的情况下及缺失模态的情况下均优于现有最先进的方法。
发现论文，激发创造
  • 利用模态不变特征进行鲁棒性多模态情感识别（缺失模态）

    本研究提出了使用不变特征的缺失模态想象网络解决异构模态之间的模态差异问题，改善了缺失模态预测的鲁棒性并提升了多模态情感识别表现。

    Oct, 2022

  • 学习未见过的模态交互

    本文针对多模态学习的完备性假设提出挑战，提出一种基于特征投影模块的解决方案，在推理过程中实现对看不见模态的泛化。同时使用伪监督来指示模态的预测可靠性。实验结果表明，该方法对于各种任务和模态具有很好的效果。

    Jun, 2023

  • 多模导向网络用于缺失模态推断

    提出了一种通过引导网络在训练阶段促进知识共享，利用多模式表示训练用于推理的更好的单模式模型，以解决存在缺失模式的多模态模型应用受限和过高计算成本的问题。通过真实生活中的暴力检测实验证明，所提出的框架训练的单模式模型明显优于传统训练的模型，并且推理成本相同。

    Sep, 2023

  • 一阶段模态蒸馏用于不完整多模态学习

    基于多模态数据的学习近年来引起了越来越多的关注。尽管可以采集各种感官模态进行训练，但并不总是能在开发场景中获得所有的模态，这给基于不完整模态的推断带来了挑战。为了解决这个问题，本文提出了一个一阶段模态蒸馏框架，通过多任务学习将特权知识传递和模态信息融合统一为一个优化过程。与独立执行它们的传统模态蒸馏相比，这有助于直接捕捉有助于最终模型推断的有价值表征。本文具体介绍了模态转换任务的联合适应网络，以保留特权信息。通过联合分布适应解决由输入差异引起的表示异质性。然后，我们介绍了模态融合任务的交叉翻译网络，以聚合恢复和可用的模态特征。它利用参数共享策略明确捕捉跨模态线索。在RGB-D分类和分割任务上的大量实验证明，提出的多模态继承框架可以克服各种场景中不完整模态输入的问题，并实现最先进的性能。

    Sep, 2023

  • 通过参数高效适应处理缺失模态的鲁棒多模态学习

    使用多模态学习提高下游任务的性能，并通过简单且参数高效的自适应过程针对缺失的模态实现鲁棒性。

    Oct, 2023

  • 面对缺失模态问题，如何打造强大的多模态模型？

    多模态学习中处理缺失模态的信息论方法，通过引入Uni-Modal Ensemble with Missing Modality Adaptation技术，实现了对非缺失模态的特征提取和融合过程中的噪声鲁棒性增强，适用于广泛的模态并可无缝集成大规模预训练编码器，展示了在音频-视觉数据集和视觉-语言数据集上的有效性。

    Oct, 2023

  • 平衡多模态学习的诊断与再学习

    为了解决不平衡的多模态学习问题，本文提出了一种诊断与再学习的方法，通过对模态能力的内在限制进行考虑，以及对所有模态的均衡处理，从而有效地平衡和增强多模态学习。

    Jul, 2024

  • 通过单模型联合嵌入进行无配对多模态学习中的遗漏模态预测

    综合利用预训练模型参数高效微调和自监督联合嵌入学习方法，本文提出了一种解决多模态学习中缺失模态问题的新框架，通过利用可用模态的信息，该框架使模型能够在推理期间在表示空间中预测缺失模态的嵌入，在多个多模态基准数据集上评估方法，展示了它在各种缺失模态的情景中的有效性和鲁棒性。

    Jul, 2024

  • 缺失模态的深度多模态学习综合调研

    本研究解决了在多模态模型训练和推理过程中，由于缺失模态而导致模型性能下降的问题。通过全面回顾深度学习技术在缺失模态多模态学习（MLMM）中的应用，论文阐明了MLMM与标准多模态学习的区别，分析了当前的方法和挑战，揭示了该领域的未来发展方向。

    Sep, 2024

  • 关于缺失模态的深度多模态学习的综合调查

    本研究解决了多模态学习中由于模态缺失导致的模型性能下降问题，特别关注缺失模态的深度学习技术。论文的独特之处在于其全面回顾了多模态学习缺失模态（MLMM）的历史背景和方法，最显著的发现是当前MLMM方法的应用及其未来发展方向带来的潜在影响。

    Sep, 2024