深度网络与多重流形问题

ICLRAug, 2020

Deep Networks and the Multiple Manifold Problem

Sam Buchanan, Dar Gilboa, John Wright

TL;DR研究神经网络中的多重流形问题，证明当网络深度相对于数据的几何和统计属性较大时，其宽度作为统计资源，使随机初始化网络的梯度集中，而其深度作为拟合资源，更易于分离类流形，基于神经切向核及其在训练超参数化神经网络方面的作用，我们为深度全连接网络的神经切向核提供了完全优化的集中速率。

Abstract

We study the multiple manifold problem, a binary classification task modeled on applications in machine vision, in which a deep fully-connected neural network is trained to separate two low-dimensional submanifol

neural networks manifold problem depth and width neural tangent kernel classification

发现论文，激发创造

通用浅层神经网络的维度无关界限

本文以一种抽象的定理为基础，证明了解决函数逼近中避免维数噪声以及用于流形学习的样本外推的逼近度的两个问题。作者建立了一种浅层网络和深度网络的模型来证明这个定理，并给出了应用案例。

Aug, 2019

基于神经网络的局部深度学习实现

本文介绍了一种新的深度神经网络方法，用于局部流形学习，重点关注三个隐藏层的深度网络，通过对样本点数量进行回归，得出正则化 $s$ 的近似度量，实现了维度降低和误差消除。

Mar, 2018

许多深层网络的训练过程可以被解释为探索同一低维流形

通过信息几何技术，分析深度网络在训练过程中的预测轨迹，揭示了网络训练过程中探索了一个有效低维度流形，在预测空间中，不同架构、大小、训练优化方法、正则化技术、数据增强技术和权重初始化的网络都在同一个流形上，并研究了该流形的细节，发现不同的网络架构遵循可区分的轨迹，但其他因素影响较小；较大的网络沿着较小的网络相似的流形进行训练，而且更快速；初始化于预测空间不同部分的网络也沿着相似的流形收敛到解决方案。

May, 2023

深度语言表示中可分离流形的出现

该研究使用均场理论流形分析来分析来自大规模上下文嵌入模型的语言表示，发现在不同的模型家族中出现了语言流形的证据，尤其是在多义词和包含许多单词的词性类别中，此外，发现这些流形中的线性可分性的出现是由流形半径、维度和流形间相关性的共同减少所驱动的。

Jun, 2020

神经网络在流形假设下学习的困难性

通过对流形假设的研究，我们发现神经网络的可学习性与流形的曲率、正则性以及数据流形的体积之间存在紧密的关联；流形的有限曲率限制了学习问题的可解性，而数据流形的体积增加则会提高网络的可学习性。此外，我们还探讨了在真实世界数据中常见的具有异质特征的中间流形区域的情况。

Jun, 2024

使用任务相关的神经流形研究生物和人工神经网络

通过神经群体几何的角度研究神经网络的内部机制，利用统计物理学中的流形容量理论和高维统计学中的流形对齐分析，定量表征深度神经网络和猕猴神经记录中不同学习目标导致的组织策略差异，并展示这些几何分析与任务相关信息的解码能力之间的联系。这些分析为在神经网络中桥接机制和规范性理论提供了一个重要方向，可能在机器学习和神经科学中开辟了许多未来的研究途径。

Dec, 2023

流形 GCN: 基于扩散的流形值图卷积神经网络

基于黎曼流形的图神经网络模型中，我们提出了两个关键的图神经网络层。第一个是扩散层，其基于流形值图扩散方程，适用于任意数量节点和图的连通模式。第二个是切线多层感知机层，借鉴了向量神经元框架的思想，并在一般的情境中应用。这两个层在节点排列和特征流形的等变性方面表现出非常好的性能。在合成数据和海马右侧三角网格对阿尔茨海默病分类的数值实例中，我们的模型均取得了非常好的性能。

Jan, 2024

局部流形学习的深度网络

本文提出了一种基于深度学习的算法，用于在未知流形中函数的扩展问题上。该算法使用多层神经网络和局部坐标系统来实现函数近似，同时保证输出的误差范围与目标函数的导数数量成正比，并在不需要目标函数的光滑性的情况下自动调整精度。

Jul, 2016

流形上的投影梯度下降算法

本文提供了一种可计算、直接且数学严谨的方法，用于近似高维数据的类流形的微分几何，以及从输入空间到这些类流形的非线性投影。该方法应用于神经网络图像分类器的设置中，在流形上生成新颖的数据样本，并实现了流形上的对抗训练的投影梯度下降算法，以解决神经网络对对抗性攻击的敏感性问题。

Aug, 2023

诊断和修复深度生成模型中的流形过拟合问题

本文研究了基于最大似然估计的深度生成模型在处理高维数据时可能存在的流形过拟合问题，提出了一种由降维和密度估计两步组成的有效算法，能够避免流形过拟合问题并且实现了对隐式模型的密度估计。

Apr, 2022