测试流形假说
通过对流形假设的研究,我们发现神经网络的可学习性与流形的曲率、正则性以及数据流形的体积之间存在紧密的关联;流形的有限曲率限制了学习问题的可解性,而数据流形的体积增加则会提高网络的可学习性。此外,我们还探讨了在真实世界数据中常见的具有异质特征的中间流形区域的情况。
Jun, 2024
本文讨论了流形假设不适当地捕捉了图像数据中典型的低维结构。我们考虑流形联合假设,并在常用图像数据集上进行实证验证,发现观察到的数据在一个不相连的集合上。我们还发现,针对这种结构设计具有归纳偏置的模型可以提高分类和生成建模任务的性能。
Jul, 2022
通过将 Riemannian 几何的思想应用到该领域,我们提出了一种基于最短路径计算的距离度量方法,可以获得基于原则的距离度量,提供深度生成模型的视觉检查工具和运动泛化工具。
Nov, 2017
本文旨在建立流形学习算法在紧凸子集上绝对连续概率测度空间中的理论基础,其中测度空间以 Wasserstein-2 距离 W 度量。我们首先介绍了概率测度子流形 Λ 的一种自然构造,配备了度量 Wλ,这是 W 对 Λ 的测地距离限制。与其他构造形成对比,这些子流形不一定是平坦的,但仍然允许类似于 Riemann 流形的局部线性化。然后,我们展示了如何仅通过 Λ 的样本集合和外在 Wasserstein 距离 W 来学习(Λ,Wλ)的潜在流形结构。特别地,我们展示了度量空间(Λ,Wλ)可以从具有节点 Λ 样本集合和边权重 W (λi, λj) 的图中,按照 Gromov-Wasserstein 的意义上逐渐恢复。此外,我们通过对从 λ 到足够接近和不同的样本 Λ 集合中,使用最优输运映射的合适 “协方差算符” 的谱分析,展示了如何渐近地恢复样本 λ 处的切空间。本文最后给出了一些关于子流形 Λ 的具体构造以及通过谱分析恢复切空间的数值例子。
Nov, 2023
本研究提出了 Distance Learner 方法,利用 “流形假设” 作为先验知识,对于 DNN-based 分类器进行训练,结果表明 Distance Learner 相比标准分类器学习到更有意义的分类边界,并且在对抗鲁棒性任务中表现出色。
Jul, 2022
本文提出了从 Rn 中嵌入的子流形上的概率分布中进行抽样的算法,并应用于 “拓扑统计” 中算法的评估,指数族的拟合度检验以及 Neyman 的平滑检验。该文章部分是阐述性的,介绍了几何测度论的工具。
Jun, 2012
本文研究在给定嵌入在 R^D 空间的 d 维流形 M 的嘈杂样本的情况下,通过 Hausdorff 距离估计流形 M 的极小极大收敛速率,它假定流形满足光滑性条件并且噪声分布具有紧支撑,结果显示最优收敛速率是 n^{-2/(2+d)},因此极小极大速率仅取决于流形的维度,而与嵌入空间的维度无关。
Jul, 2010