ICMLJul, 2020
从信息理论的角度构建生成模型框架，学习有结构的潜在因子和相关数据
Learning Structured Latent Factors from Dependent Data:A Generative Model Framework from Information-Theoretic Perspective
Ruixiang Zhang, Masanori Koyama, Katsuhiko Ishiguro
TL;DR本文提出了一种新的框架来学习具有所需结构属性的多元数据的可控和通用表示，该模型利用图模型中的掩码变量表示归纳偏置，并扩展多元信息瓶颈理论来强制执行结构依赖性，从而提供原则性方法来学习一组语义上有意义的潜在因素，其反映了各种类型的期望结构，如捕获相关性或编码不变性。同时还提供了自动估计数据中依赖关系的灵活性，该框架统一了许多现有的生成模型，并可应用于各种任务，包括多模态数据建模、算法公平性和不变风险最小化。