本文回顾了无监督特征学习和深度学习领域中的最新进展，讨论了学习良好的数据表示的适当目标，以及表示学习、密度估计和流形学习之间的几何联系。

Jun, 2012

使用基于元素之间相似性的自然弱监督，提出了一种从中学习具备高可重用性，去除非目标因素的深度表示的新算法，在合成和真实域上通用的物体姿态转换任务中得到了应用。

Mar, 2021

本文旨在研究用结构性表示学习的方法，具体分为解缠结表示与面向对象表示两个方向，以实现从非结构化数据中提取潜在结构信息的目的，同时还探讨了该方法对预训练表示和下游任务泛化能力的提升以及其对于大规模数据的高效表征学习的应用。

Apr, 2023

本文研究对象识别中不变表示的泛化性，经过广泛实验，我们证明了不变模型学习到的非结构化潜在表示对分配偏移具有鲁棒性，因此使不变性成为有限资源环境中训练的理想属性。

Apr, 2023

通过使用简化模型表示来研究深度学习系统的常见方法存在假设，即简化表示的结果忠实于原始模型。然而，该研究发现即使简化表示在训练集上可以准确近似全模型，它们也可能在分布之外无法准确捕获模型的行为，这导致了理解上的幻觉。通过使用控制数据集和模型简化工具，研究发现简化表示通常在分布之外具有较低的忠实度，并且存在一些情况简化版本可能失败或更好地进行泛化。这些结果提出了使用奇异值分解等工具进行机械解释时准确预测模型在新情况下行为的可靠性的问题。

Dec, 2023

通过测试不同的数据集和训练方法，我们发现，当生成模型的编码器无法将新颖的组合映射到正确的潜在空间区域时，它们会失败。而当生成模型能够成功时，要么测试条件没有排除足够的样本，要么排除的生成因素能够独立地影响生成图像的不同部分。基于这些结果，我们认为，要想正确地进行推广，生成模型不仅需要捕捉变异因素，而且还需要理解用于生成数据的生成过程的反演方式。

Apr, 2022

本文探讨了使用不同的自监督学习算法所学到的表示在复合泛化上的能力，研究发现，与其它算法相比，使用 EL 模型学习到的表示具有更强的复合泛化能力，但在训练简单模型并使用少量标签进行泛化时直接使用瓶颈表示会导致泛化性能较差，同时现有的度量复合性的指标与本文的评价方法不相关

Oct, 2022

本文提出了一种弱监督算法来克服深度生成模型中的数据集偏差，该方法通过额外的小型未标记参考数据集作为监督信号来探测现有数据集中的偏差，并学习生成模型。实验结果表明，该方法降低了基于潜在因素的偏差达到了高达 34.6％，在同时使用基于生成对抗网络的图像生成的情况下，数据效率显著提高。

Oct, 2019

本文提出了一个可以将错误分解成不同泛化方面的组成部分的域泛化算法评估框架，并将其扩展到捕捉实现不变性的各种失败类型。作者表明，域不变表示学习的策略存在两个问题，并提出了一个可行的调整分类器的方向。通过对 Colored MNIST 和 Camelyon-17 数据集的评估，作者发现泛化误差的最大贡献因素因方法、数据集、正则化强度甚至训练长度而异。

Nov, 2021

基于信息理论的角度，我们证明了生成式模型更适合于表征学习。而某些生成式模型，如生成对抗网络（GANs），在表征学习方面具有比有监督学习更强的潜力。此分析为进一步探索生成式表征学习提供了坚实的理论基础。

Mar, 2017