Sep, 2019

神经网络中数据结构对学习的影响建模：隐藏流形模型

PDF
TL;DR本文提出了一个名为 “隐藏流形模型” 的生成模型，证明了随机梯度下降算法训练的两层神经网络表现的动态可以通过 Integro-differential 方程组进行跟踪，同时分析了神经网络训练过程中神经网络学习增加复杂度和提高性能的方式以及受其大小、学习率和隐藏流形维度等参数的影响。
stochastic gradient-based methodsdeep neural networkshidden manifold modelgenerative modelneural network learning
发现论文，激发创造
  • 神经网络在流形假设下学习的困难性

    通过对流形假设的研究，我们发现神经网络的可学习性与流形的曲率、正则性以及数据流形的体积之间存在紧密的关联；流形的有限曲率限制了学习问题的可解性，而数据流形的体积增加则会提高网络的可学习性。此外，我们还探讨了在真实世界数据中常见的具有异质特征的中间流形区域的情况。

    Jun, 2024

  • 随机特征和隐式流形模型学习中的泛化误差

    使用统计物理学中的复制法，我们针对一个综合数据集，研究了广义线性回归和分类问题，在超参数化和不充分参数化的条件下，为这些问题提供了渐近泛化表现的闭式表达式，特别地，我们展示了逻辑回归的双重下降效应，突显了用正交投影相比随机高斯投影在学习随机特征时的优越性，讨论了隐藏流形模型中数据相关性的作用。

    Feb, 2020

  • 神经隐式流形学习在拓扑感知生成建模中的应用

    本论文提出一种通过神经隐式流来表示数据流形分布的方法，称为神经隐式流分布。为了解决基于前向模型的限制，引入了约束能量模型，该方法使用约束的 Langevin 动力学来训练和采样，能比前向模型更精确地学习复杂拓扑结构的流形支持分布，并允许将模型流形的并集和交集进行运算。

    Jun, 2022

  • 通过流形假设的视角解析深度生成模型：一项调查与新连接

    深度生成模型与流形假设之间的相互作用引起了人们的广泛关注。本文通过流形视角对 DGM 进行了首次调查，并对其进行了两个新的贡献：首先，形式上证明了高维似然函数的数值不稳定性是无法避免的；其次，发现基于自编码器的 DGM 可以被解释为近似最小化 Wasserstein 距离，这一结果有助于解释其出色的实证结果。流形视角提供了理解 DGM 的丰富视角，我们希望能够使之更加易于理解和推广。

    Apr, 2024

  • 使用浅层神经网络学习的生成模型的高斯等效性

    通过研究神经网络在预训练生成模型产生的数据集上的训练和表现，探讨数据结构对学习的计算效率的影响，证明了高斯等价性可以使用一个适当选择的高斯模型来完全捕获感兴趣的关键性能指标。

    Jun, 2020

  • 从流形学习的角度看深度神经网络架构

    本文旨在比较和描述神经网络结构在几何和拓扑方面的内部表示和层间数据流动的拓扑和几何动态变化，并使用拓扑数据分析和持久性同调分形维数的概念，通过不同层次的数据集以及卷积神经网络和转换网络在计算机视觉和自然语言处理任务中的各种配置的广泛实验，为可解释的和可解释的 AI 的发展做出了贡献。

    Jun, 2023

  • 基于神经网络的局部深度学习实现

    本文介绍了一种新的深度神经网络方法，用于局部流形学习，重点关注三个隐藏层的深度网络，通过对样本点数量进行回归，得出正则化 $s$ 的近似度量，实现了维度降低和误差消除。

    Mar, 2018

  • 对称正定矩阵流形上的统计递归模型

    本文研究了基于 Riemann 流形的时间序列测量数据的统计循环网络模型，通过有效算法和严格分析统计性质，证明了其与现有方法相比表现相当并参数更少，同时在大脑成像的统计分析任务中得到了应用。

    May, 2018

  • 许多深层网络的训练过程可以被解释为探索同一低维流形

    通过信息几何技术，分析深度网络在训练过程中的预测轨迹，揭示了网络训练过程中探索了一个有效低维度流形，在预测空间中，不同架构、大小、训练优化方法、正则化技术、数据增强技术和权重初始化的网络都在同一个流形上，并研究了该流形的细节，发现不同的网络架构遵循可区分的轨迹，但其他因素影响较小；较大的网络沿着较小的网络相似的流形进行训练，而且更快速；初始化于预测空间不同部分的网络也沿着相似的流形收敛到解决方案。

    May, 2023

  • 学习神经场的信号不可知流形

    通过利用神经网络学习数据集的潜在结构，构建 GEM 模型，实现跨模态音像的模态无关表达与样本生成

    Nov, 2021