本文讨论了深度非监督学习中最大化证据下限（ELBO）的训练方法，并推导了输入与潜变量之间互信息的下限和上限，进而通过率失真曲线描述了压缩和重构准确性之间的平衡，并提出了一个新的方法来避免强大的随机解码器忽略它们的潜变量。
Nov, 2017
本文探讨了深度潜变量模型中精确似然的一般性质及其在实践中的应用，特别是关于参数估计和缺失数据插补。作者介绍了一种基于条件似然的算法，用于深度潜变量模型中的缺失数据插补，并在多个数据集中对比了该算法和通常用于DLVMs的插补方案，结果表明该算法显著优于传统方案。作者还探讨了无约束模型似然函数无界的问题及其在模式崩溃中的作用，并提出了确保最大似然估计存在的方法。
Feb, 2018
该论文研究通过因式分解先验分布的方法实现对观察变量和潜在变量的真实联合分布的识别，从而实现了对深度潜在变量模型的拆分，论文中提出了一种新的非线性独立成分分析框架，该框架同时适用于具有噪音、欠完备或离散观测的情况。
Jul, 2019
本文探讨了变分推断在学习生成模型和正则化变分自编码器中的作用，并提出了一种基于确定性自编码器目标函数的正则化方法，该方法与 $eta$-VAE 表现相似。
Jan, 2020
研究深度神经网络在表示学习中的可辨认性，并从非线性独立成分分析的角度提出一种恢复可辨认性的方法，提出了一系列充分条件和证据，证明一大类具有判别性的模型在功能空间上具有线性可辨认性。
Jul, 2020
本文讨论了一种可能的未标识结果，说明了非线性独立成分分析理论基础上的建构，并通过适当构造的反例说明了表示学习中的其他反例及其可识别性。
Feb, 2022
本文阐述了变分自编码器中潜变量的后验坍塌现象是由于潜在变量在生成模型中不可识别，提出了一类具有潜变量可识别性的深度生成模型，并证明了它们可以通过概率单射Brenier maps实现参数化，在合成和实际数据集上优于现有方法，从而解决了后验坍塌问题。
Jan, 2023
本论文通过考虑任务分布的影响，扩展了监督学习中可辨识性的理论。研究表明，即使在回归情况下，可辨识性也是可以实现的。当任务具有因果结构时，我们的方法可以通过最大边缘似然优化实现下游应用于因果表征学习，并且通过实验证实了我们的模型在恢复合成和真实数据的标准表征方面优于更一般的无监督模型。
Jun, 2023
深层生成模型（DGMs）是学习数据表示的多功能工具，可以充分融入条件概率分布等领域知识。本文提出了一种比较DGMs的可识别性理论，并通过将非线性独立成分分析领域的最新进展应用于其上进行扩展。我们证明了当混合函数是分段仿射函数（例如，由ReLU神经网络参数化）时，这些模型在一个广义的混合函数类中缺乏可识别性，但令人惊讶的是它们在这种情况下变得可识别。我们还探究了模型错误规范化的影响，并通过实验证明，先前提出的拟合比较DGMs的规范化技术在不提前知道潜变量数量时有助于可识别性。最后，我们引入了一种通过多目标优化来改进多数据源处理并以可解释方式使用约束优化来调整规范化超参数的方法。我们通过模拟数据以及最近用单细胞RNA测序对细胞中的遗传扰动进行描述的数据集对我们的理论和新方法进行了实证验证。
Jan, 2024
对深度学习的广义化现象、超参数化模型、非可识别性以及归纳偏见进行研究，并针对语言模型相关的广义化度量、可迁移性和归纳偏见提出了有前景的研究方向。
May, 2024