神经隐式流形学习在拓扑感知生成建模中的应用

ICMLJun, 2022

神经隐式流形学习在拓扑感知生成建模中的应用

Neural Implicit Manifold Learning for Topology-Aware Generative Modelling

Brendan Leigh Ross, Gabriel Loaiza-Ganem, Anthony L. Caterini, Jesse C. Cresswell

TL;DR本论文提出一种通过神经隐式流来表示数据流形分布的方法，称为神经隐式流分布。为了解决基于前向模型的限制，引入了约束能量模型，该方法使用约束的 Langevin 动力学来训练和采样，能比前向模型更精确地学习复杂拓扑结构的流形支持分布，并允许将模型流形的并集和交集进行运算。

Abstract

Natural data observed in $\mathbb{R}^n$ is often constrained to an $m$-dimensional manifold $\mathcal{M}$, where $m < n$. Current generative models represent this manifold by mapping an $m$-dimensional latent var

manifold generative models neural network constrained energy-based models manifold-supported distributions

发现论文，激发创造

神经网络中数据结构对学习的影响建模：隐藏流形模型

本文提出了一个名为 “隐藏流形模型” 的生成模型，证明了随机梯度下降算法训练的两层神经网络表现的动态可以通过 Integro-differential 方程组进行跟踪，同时分析了神经网络训练过程中神经网络学习增加复杂度和提高性能的方式以及受其大小、学习率和隐藏流形维度等参数的影响。

Sep, 2019

Manifold GPLVMs 用于发现神经数据中的非欧几里德潜在结构

提出了一种新的概率潜变量模型 (mGPLVM) 来同时确定潜变量状态和神经元对其表示的贡献，以研究神经元编码头部方向及其它相关行为表现内部潜变量构建的问题。

Jun, 2020

流形学习的规范正则化流模型

通过学习具有少量维度流形的生成建模技术，提出一种新的建模流方法，实现了对数据的高效表示，从而更好地近似目标分布并产生较低的 FID 分数。

Oct, 2023

利用积流形进行潜在图推断

本文提出一种基于 Riemannian geometry 和 product manifolds 的可微分图模块，用于推断连接数据的复杂潜在图结构。该方法不仅可以动态地学习数据的内在结构，还可以在性能上对现有方法进行改进并成功地在各种数据集上进行了测试。

Nov, 2022

神经网络在流形假设下学习的困难性

通过对流形假设的研究，我们发现神经网络的可学习性与流形的曲率、正则性以及数据流形的体积之间存在紧密的关联；流形的有限曲率限制了学习问题的可解性，而数据流形的体积增加则会提高网络的可学习性。此外，我们还探讨了在真实世界数据中常见的具有异质特征的中间流形区域的情况。

Jun, 2024

使用任务相关的神经流形研究生物和人工神经网络

通过神经群体几何的角度研究神经网络的内部机制，利用统计物理学中的流形容量理论和高维统计学中的流形对齐分析，定量表征深度神经网络和猕猴神经记录中不同学习目标导致的组织策略差异，并展示这些几何分析与任务相关信息的解码能力之间的联系。这些分析为在神经网络中桥接机制和规范性理论提供了一个重要方向，可能在机器学习和神经科学中开辟了许多未来的研究途径。

Dec, 2023

通过流形假设的视角解析深度生成模型：一项调查与新连接

深度生成模型与流形假设之间的相互作用引起了人们的广泛关注。本文通过流形视角对 DGM 进行了首次调查，并对其进行了两个新的贡献：首先，形式上证明了高维似然函数的数值不稳定性是无法避免的；其次，发现基于自编码器的 DGM 可以被解释为近似最小化 Wasserstein 距离，这一结果有助于解释其出色的实证结果。流形视角提供了理解 DGM 的丰富视角，我们希望能够使之更加易于理解和推广。

Apr, 2024

深度网络与多重流形问题

研究神经网络中的多重流形问题，证明当网络深度相对于数据的几何和统计属性较大时，其宽度作为统计资源，使随机初始化网络的梯度集中，而其深度作为拟合资源，更易于分离类流形，基于神经切向核及其在训练超参数化神经网络方面的作用，我们为深度全连接网络的神经切向核提供了完全优化的集中速率。

Aug, 2020

学习非连通流形：无 GAN 领域

本研究探讨了生成对抗网络中的潜在分布问题，特别是在学习一个不连续的流形集合时。通过建立不连续流形学习的免费午餐定理，提出了用生成器雅可比的范数导出拒绝抽样方法，在 BigGAN 等生成器上取得了效果优异的结果。

Jun, 2020

流形到流形映射的基于流量的生成模型

本研究提出了一种基于 GLOW 的双流版本，能够在给定另一个流形测量类型的情况下合成其他类型的测量信息，并引入了三种用于流形数据的可逆层，其中包括对人脑图像进行重构和合成的实验。

Dec, 2020