提出了一种层次逐步抽象表示复杂数据的学习方法，该方法基于优化信息论目标，通过最大化多变量互信息来搜索最佳解释数据相关性的潜在因素集合，该方法无需监督，不需要模型假设，并且随着变量数量的线性扩展具有可行性，我们证明了 Correlation Explanation (CorEx) 自动发现了来源于多个数据源的有意义的结构，包括个性测试、DNA 和人类语言。

Jun, 2014

本研究发现神经网络可以学习较低维度的流形，从而在高维数据空间中分解数据，同时又能取得良好的泛化性能，重点关注降维和流形的内在维度等方面。

Jun, 2019

使用 Grassberger-Procaccia 算法和 Fisher-Rao 距离，测量了自然语言的相关维数，并证明了语言具有多分形性质，具有全局自相似性和普遍维数约为 6.5，大于简单离散随机序列的维数但小于 Barabasi-Albert 进程的维数，同时长时记忆是产生自相似性的关键。这种方法适用于任何真实世界离散序列的概率模型，并展示了音乐数据的应用。

May, 2024

用 Gromov-Wasserstein 距离的下界，通过对所有数据矩计算，基于内在和多尺度的方法对比数据流形。实验证明，该方法能够有效地识别不同维度未对齐数据的结构，并展示了在评估生成模型质量方面的功效。

May, 2019

高维数据具有令人惊讶的特性：仅使用简单的线性分类器就可以高概率地将数据点配对分开，甚至从任意子集中分离出来。我们引入了数据分布的内在维度的新概念，精确地捕捉了数据的可分离性质。对于这个内在维度，以上的经验法则成为一条规律：高内在维度保证了数据的高可分离性。我们将这个概念扩展为两个数据分布的相对内在维度，并证明它提供了成功学习和推广二元分类问题的概率的上下界。

Oct, 2023

本文综述了一些线性降维方法，以及它们如何作为矩阵流形优化问题进行求解，并提出了一种基于正交投影的典型相关分析方法，这种优化框架使得线性降维成为了一种面向各种数据类型的黑盒子数值技术。

Jun, 2014

本文介绍了一种基于 PCA 的新方法，用于估计具有非线性结构的数据的内在维数，该方法利用整个数据集估计其内在维数，并方便增量学习。该方法使用数据的最小覆盖来处理数据集的非线性结构，并通过检查所有小邻域区域的数据方差来确定估计结果。实验结果表明，该方法可以过滤数据中的噪声，并在邻域区域大小增加时收敛到稳定的估计值。

Feb, 2010

本文旨在从潜在组件识别的角度理解基于最大化相关性的深度多视角学习，并采用一种直观的生成模型来分析多视角数据，它是共享和私有组件的不同非线性混合物，通过最大化潜在相关性，可以保证从各个视角提取共享组件（在一定程度上）并且还证明了通过适当的正则化设计，每个视图中的私有信息可以被明确地分离出来。

Jun, 2021

使用 Multimodal Understanding Through Correlation Maximization and Minimization（MUCMM） 框架，该框架可以轻松地嵌入到任何预训练网络中，学习模态数据的常见和个体表示，根据提出的方法，通过可视化分析过程给出了 MUCMM 学习结构化潜在表示的解释。

May, 2023

通过研究深度学习模型的架构和数据内在结构之间的关系，本文探讨了深度学习的理论基础，并通过实验和物理启发式玩具模型的结合，揭示了它们的内在工作原理，旨在填补理论与实践之间的鸿沟。

Oct, 2023