Sep, 2023
通过细粒度模态估值增强多模态合作
Enhancing Multi-modal Cooperation via Fine-grained Modality Valuation
Yake Wei, Ruoxuan Feng, Zihe Wang, Di Hu
TL;DR多模态学习模型的主题之一是将来自不同模态的异构信息进行联合整合，然而，大多数模型在多模态协同方面存在不足，不能很好地利用所有模态信息，因此，合理观察和改进模态之间的细粒度协同至关重要，特别是在面对现实场景时，模态差异可能在不同样本间有所变化。为此，本文引入了一种细粒度的模态评估度量，以评估单个样本水平上每个模态的贡献。通过模态评估，我们可遗憾地观察到多模态模型倾向于依赖某个特定模态，导致其他模态的贡献较低。我们进一步分析了这个问题，并通过有针对性地增强低贡献模态的区分能力来改善模态之间的协同。总的来说，我们的方法在样本级别上合理观察了细粒度的单模态贡献，并在不同的多模态模型上取得了显著改进。