Apr, 2024
无配对多模态数据的倾向得分匹配
Propensity Score Alignment of Unpaired Multimodal Data
Johnny Xi, Jason Hartford
TL;DR通过借鉴因果推断中的潜在结果与多模态观察中的潜在视角的类比，本研究提出了一种方法来解决多模态表示学习中异质模态样本的对齐问题。该方法假设我们通过实验处理来收集样本，并使用此来估计每个模态的倾向得分，从而定义了样本之间的距离。实验结果表明，使用最优传输匹配技术相较于现有先进对齐方法在综合多模态设置和 NeurIPS 多模态单细胞整合挑战中的真实数据中能够显著提高对齐效果。