验证图像数据的流形并集假设

Jul, 2022

The Union of Manifolds Hypothesis and its Implications for Deep Generative Modelling

Bradley C. A. Brown, Anthony L. Caterini, Brendan Leigh Ross, Jesse C. Cresswell, Gabriel Loaiza-Ganem

TL;DR本文讨论了流形假设不适当地捕捉了图像数据中典型的低维结构。我们考虑流形联合假设，并在常用图像数据集上进行实证验证，发现观察到的数据在一个不相连的集合上。我们还发现，针对这种结构设计具有归纳偏置的模型可以提高分类和生成建模任务的性能。

Abstract

deep learning has had tremendous success at learning low-dimensional representations of high-dimensional data. This success would be impossible if there was no hidden low-dimensional structure in data of interest; this existence is posited by the →

发现论文，激发创造

非简单连通流形拓扑下深度生成模型的数据插值

该论文提出了一种基于几何距离曲线的数据插值方法，并在此基础上提出了一种新的密度正则化器，该正则化器可以避免插值路径穿过低密度区域，从而提高插值结果的质量，该方法在真实世界图像数据集上得到了一致优于之前研究的结果。

Jan, 2019

数据形态：数据分布的内在距离

用Gromov-Wasserstein距离的下界，通过对所有数据矩计算，基于内在和多尺度的方法对比数据流形。实验证明，该方法能够有效地识别不同维度未对齐数据的结构，并展示了在评估生成模型质量方面的功效。

May, 2019

深度神经网络中的降维压缩和扩展

本研究发现神经网络可以学习较低维度的流形，从而在高维数据空间中分解数据，同时又能取得良好的泛化性能，重点关注降维和流形的内在维度等方面。

Jun, 2019

神经网络中数据结构对学习的影响建模：隐藏流形模型

本文提出了一个名为“隐藏流形模型”的生成模型，证明了随机梯度下降算法训练的两层神经网络表现的动态可以通过Integro-differential方程组进行跟踪，同时分析了神经网络训练过程中神经网络学习增加复杂度和提高性能的方式以及受其大小、学习率和隐藏流形维度等参数的影响。

Sep, 2019

深度网络与多重流形问题

研究神经网络中的多重流形问题，证明当网络深度相对于数据的几何和统计属性较大时，其宽度作为统计资源，使随机初始化网络的梯度集中，而其深度作为拟合资源，更易于分离类流形，基于神经切向核及其在训练超参数化神经网络方面的作用，我们为深度全连接网络的神经切向核提供了完全优化的集中速率。

Aug, 2020

诊断和修复深度生成模型中的流形过拟合问题

本文研究了基于最大似然估计的深度生成模型在处理高维数据时可能存在的流形过拟合问题，提出了一种由降维和密度估计两步组成的有效算法，能够避免流形过拟合问题并且实现了对隐式模型的密度估计。

Apr, 2022

流形学习：是什么，怎么做，为什么

Manifold learning is a set of methods to find the low dimensional structure of data, allowing visualization, de-noising, and interpretation, with a focus on statistical foundations and parameter choices.

Nov, 2023

量化流形：生成对抗网络学习的流形是否收敛于真实数据的流形

此论文通过实验分析了通过机器学习模型学习到的流形，比较了每个纪元学习到的流形与真实数据流形的差异，并研究了流形的内在维度和拓扑特征，以及这些度量随着模型训练的变化和趋于真实数据流形度量的趋势。

Mar, 2024

通过流形假设的视角解析深度生成模型：一项调查与新连接

深度生成模型与流形假设之间的相互作用引起了人们的广泛关注。本文通过流形视角对DGM进行了首次调查，并对其进行了两个新的贡献：首先，形式上证明了高维似然函数的数值不稳定性是无法避免的；其次，发现基于自编码器的DGM可以被解释为近似最小化Wasserstein距离，这一结果有助于解释其出色的实证结果。流形视角提供了理解DGM的丰富视角，我们希望能够使之更加易于理解和推广。

Apr, 2024

本质维度相关性：揭示多模态表示中的非线性连接

探索了机器学习方法背后的机制，利用内在维度与相关性之间的纠缠提出了一种度量标准，用于量化高维流形之间的相关性。验证了方法在合成数据上的优势和缺点，并在神经网络表示中将分析扩展到大规模应用，揭示了多模态数据的潜在表示之间明显的关联，而现有方法在检测相似性方面存在显著困难。研究结果表明了潜在流形之间高度非线性的相关性模式的存在。

Jun, 2024