Jun, 2024

神经网络在流形假设下学习的困难性

PDF
TL;DR通过对流形假设的研究，我们发现神经网络的可学习性与流形的曲率、正则性以及数据流形的体积之间存在紧密的关联；流形的有限曲率限制了学习问题的可解性，而数据流形的体积增加则会提高网络的可学习性。此外，我们还探讨了在真实世界数据中常见的具有异质特征的中间流形区域的情况。
发现论文，激发创造
  • 神经网络中数据结构对学习的影响建模：隐藏流形模型

    本文提出了一个名为 “隐藏流形模型” 的生成模型，证明了随机梯度下降算法训练的两层神经网络表现的动态可以通过 Integro-differential 方程组进行跟踪，同时分析了神经网络训练过程中神经网络学习增加复杂度和提高性能的方式以及受其大小、学习率和隐藏流形维度等参数的影响。

    Sep, 2019

  • 测试流形假说

    本论文旨在发展一种算法（并附带复杂性保证），用于适应一个未知的由可分 Hilbert 空间支持的概率分布，仅使用该分布的独立同分布样本来调整流形。

    Oct, 2013

  • 验证图像数据的流形并集假设

    本文讨论了流形假设不适当地捕捉了图像数据中典型的低维结构。我们考虑流形联合假设，并在常用图像数据集上进行实证验证，发现观察到的数据在一个不相连的集合上。我们还发现，针对这种结构设计具有归纳偏置的模型可以提高分类和生成建模任务的性能。

    Jul, 2022

  • 流形感知归纳哈希

    本文介绍了一种基于流形学习的紧凑二进制哈希算法，解决了流形学习在大规模嵌入中的问题，并提出了一个有效的方法来解决样本外数据问题，特别是基于 t-SNE 实现的哈希算法。

    Mar, 2013

  • 无需流行学习的流形上的学习

    基于 Hypersphere 上的球面多项式，无需预处理数据即可构建一次性逼近，并给出了相对 “粗糙” 函数的最佳逼近速率。

    Feb, 2024

  • 流形正则化鉴别性神经网络

    该研究探讨了深度神经网络中过拟合问题的原因，并提出了基于流形假设的正则化方法，包括有标签和无标签情况下的流形正则化，实验证明这些方法可以显著提高模型泛化性能。

    Nov, 2015

  • 深度网络与多重流形问题

    研究神经网络中的多重流形问题，证明当网络深度相对于数据的几何和统计属性较大时，其宽度作为统计资源，使随机初始化网络的梯度集中，而其深度作为拟合资源，更易于分离类流形，基于神经切向核及其在训练超参数化神经网络方面的作用，我们为深度全连接网络的神经切向核提供了完全优化的集中速率。

    Aug, 2020

  • 一般感知流形的分类与几何学

    通过统计力学的理论，研究了一个读出网络从感知流形表示中分类对象的能力，并开发了一种能解释来自神经元反应的对象刺激数据统计力学的线性分类模型框架。

    Oct, 2017

  • 随机特征和隐式流形模型学习中的泛化误差

    使用统计物理学中的复制法，我们针对一个综合数据集，研究了广义线性回归和分类问题，在超参数化和不充分参数化的条件下，为这些问题提供了渐近泛化表现的闭式表达式，特别地，我们展示了逻辑回归的双重下降效应，突显了用正交投影相比随机高斯投影在学习随机特征时的优越性，讨论了隐藏流形模型中数据相关性的作用。

    Feb, 2020

  • 利用流形先验在模型训练中融入远程学习

    本研究提出了 Distance Learner 方法，利用 “流形假设” 作为先验知识，对于 DNN-based 分类器进行训练，结果表明 Distance Learner 相比标准分类器学习到更有意义的分类边界，并且在对抗鲁棒性任务中表现出色。

    Jul, 2022