Nov, 2023

多视角因果表示学习与部分可观测性

TL;DR我们提出了一个统一的框架来研究从同时观察到的多个视图(如不同的数据模态)中学习到的表征的可识别性。我们允许部分观察的设置,其中每个视图都由一些潜在变量的子集的非线性混合构成,这些潜在变量可以有因果关系。我们通过对比学习和每个视图的单个编码器证明,任意数量的视图的所有子集共享的信息可以通过平滑双射进行学习。我们还提供了图形判据,指示哪些潜在变量可以通过一组简单的规则进行识别,我们称之为可识别代数。我们的总体框架和理论结果统一并扩展了关于多视图非线性ICA、解缠和因果表示学习的几项先前工作。我们在数字、图像和多模态数据集上实验证实了我们的论述。此外,我们证明了我们设置的不同特殊情况下先前方法的性能可以得到恢复。总的来说,我们发现在部分可观察性的一般性较弱的假设下,获取多个部分视图有助于识别更精细的表征。