CVPRApr, 2022
多模态 Transformer 对缺失模态具有鲁棒性吗?
Are Multimodal Transformers Robust to Missing Modality?
Mengmeng Ma, Jian Ren, Long Zhao, Davide Testuggine, Xi Peng
TL;DR本研究旨在深入探究 Transformer 模型在缺失模态数据的情况下的行为,并发现最优融合策略是数据集相关的,因此提出一种自动搜索输入数据最优融合策略以提高 Transformer 模型鲁棒性的方法。实验证实了该方法在三个基准数据集上具有优异性能。