Oct, 2023
UniCat：为多模态重新识别构建更强的融合基线
UniCat: Crafting a Stronger Fusion Baseline for Multimodal Re-Identification
Jennifer Crawford, Haoli Yin, Luke McDermott, Daniel Cummings
TL;DR多模态重新识别是一个流行的检索任务，旨在跨不同数据流重新识别对象，本研究发现现有的后期融合技术在与训练单独的模态比较时产生次优潜在表示，我们探讨了这种效应主要是由于融合使用时对个别模态的训练目标不经意地放松，他人称之为模态懒散。我们提出了一个细致的观点，即这种放松可能导致某些模态无法充分利用可用的任务相关信息，然而，对于噪声模态提供了保护屏障，防止它们过拟合到无关数据，我们的发现还表明，当与已知最佳训练技术配对时，单模态拼接（UniCat）和其他后期融合的单模态骨干集成在多个多模态 ReID 基准测试中超过了当前的最先进性能，通过揭示 “模态懒散” 的双刃剑，我们推动未来研究在平衡局部模态优势和全局表示方面。