基于 GAN 的知识推广原则
本文提出了一种使用预训练的 CGN 模型进行知识蒸馏的技术，以实现黑盒访问下的知识迁移。采用 TinyGAN 学习预训练的 BigGAN，从而使生成图像更具属性，使分类器更具有不变性。
Aug, 2022
深度生成模型在数据密度估计和有限样本数据生成方面取得了巨大成功。然而，它们存在无法解释性、倾向于引起虚假相关性和在超出分布范围的外推方面表现不佳等一些基本缺点。为了解决这些挑战，可以将因果性理论融入深度生成建模，结构因果模型可以描述数据生成过程并对系统中的变量之间的复杂因果关系和机制进行建模。因此，结构因果模型可以与深度生成模型自然地结合起来，给深度生成模型提供许多有益的属性，如分布偏移鲁棒性、公平性和互操作性。我们提供了一个因果生成建模的技术调研，将其分为因果表示学习和可控反事实生成方法两类。我们关注因果生成模型在公平性、隐私、超出分布泛化和精准医学方面的基本理论、形式化、缺点、数据集、度量和应用。我们还讨论了该领域未解决的问题和未来研究方向。
Oct, 2023
生成模型可以通过实现真实数据生成过程的因果图结构向未被观测环境进行预测，然而，由于因果图结构节点通常未被观测，这导致了模型的超参数化和因果结构的不可识别性，此文章开发了一种理论框架，通过一个弱化的可识别性标准解决这种情况，并展示经典的随机梯度下降可能阻碍模型对未被观测数据的预测能力，建议在训练期间明确地强制执行机制的独立性，使用真实世界数据训练的深度生成模型实验证明这些看法，并展示这些模型的外推能力如何被利用。
Apr, 2020
本研究提出了一种非统计框架，它使用反事实干预来揭示由解缠组成的网络的模块化结构，以便操纵潜在表示以执行有意义和可控的变换。通过在复杂图像数据集上训练各种生成模型进行实验，表明所获得的模块可用于设计目标干预，从而在风格转换和自动评估对环境变化的稳健性等领域开展应用。
Dec, 2018
该论文提出了一种生成利用条件生成模型来生成稀疏的、在分布中反事实模型解释的通用框架，可适用于不同模态的数据，并说明了该方法在图像、时间序列和混合类型表格数据上的有效性。
Jan, 2021
通过深度生成建模，我们将图像生成过程分解成独立的因果机制，从而产生反事实图像，提高了模型的新颖性和可解释性。在 MNIST 和 ImageNet 上的实验表明，这些反事实图像能够提高模型的抗干扰性，而且这个模型能在单 GPU 上高效训练。
Jan, 2021
针对基于有限转换组的偏移推断问题，本文引入了一种由反事实引导的学习框架，其通过在模型中实现对于 (已知) 转换组的不变性来提高神经网络对偏移推断的鲁棒性，并通过序列和图像推断任务对此方法进行验证。
Apr, 2021
本综述介绍了结构因果模型和深度生成模型相结合的因果深度生成模型的最新研究进展，详细讨论了其分类、生成类型和引入因果性的方法，探讨了该领域未来的研究方向。
Jan, 2023
利用深度学习组件建立结构因果模型 (SCMs) 的一个通用框架，采用正则化流和变分推断实现外生噪声变量的易处理推断，并验证其在 MNIST 和医学图像数据上的有效性，提出了 SCMs 可以回答所有 Pearl 因果逻辑的逆因果推断问题的思路。
Jun, 2020