ECCVJul, 2024

面向多模态开放领域泛化和自适应的自监督方法

TL;DR本研究提出了一种利用自我监督方法解决多模态开放领域泛化(MM-OSDG)问题的新途径,引入了两个创新的多模态自我监督预训练任务:遮蔽跨模态翻译和多模态拼图。这些任务有助于学习多模态代表性特征,提高泛化和开放类别检测能力,并提出一种新颖的熵权重机制来平衡不同模态的损失。此外,我们还扩展了该方法以解决多模态开放领域自适应(MM-OSDA)问题。实验证明了该方法在多个数据集上的有效性和多样性。