Mar, 2018

基于神经网络的局部深度学习实现

PDF
TL;DR本文介绍了一种新的深度神经网络方法，用于局部流形学习，重点关注三个隐藏层的深度网络，通过对样本点数量进行回归，得出正则化 $s$ 的近似度量，实现了维度降低和误差消除。
deep learningneural networksmanifold learningdimensionality reductionregression function
发现论文，激发创造
  • 局部流形学习的深度网络

    本文提出了一种基于深度学习的算法，用于在未知流形中函数的扩展问题上。该算法使用多层神经网络和局部坐标系统来实现函数近似，同时保证输出的误差范围与目标函数的导数数量成正比，并在不需要目标函数的光滑性的情况下自动调整精度。

    Jul, 2016

  • LDMNet: 低维流形正则化神经网络

    通过使用 Low-Dimensional-Manifold-regularized neural Network 来加强神经网络的特征提取，有效提高了在小样本情况下的泛化能力并且可以应用于同种物体的跨光谱识别。

    Nov, 2017

  • 深度神经网络内存高效训练的流形正则化

    本文提出了一种利用归纳偏置驱动的网络设计原则和基于层的流形正则化目标来实现神经网络学习过程中提高内存效率的框架，该框架的使用结果相对于传统学习技术具有更好的绝对性能和实证一般化误差，可以无缝地与现有的网络压缩方法相结合。

    May, 2023

  • 深度网络与多重流形问题

    研究神经网络中的多重流形问题，证明当网络深度相对于数据的几何和统计属性较大时，其宽度作为统计资源，使随机初始化网络的梯度集中，而其深度作为拟合资源，更易于分离类流形，基于神经切向核及其在训练超参数化神经网络方面的作用，我们为深度全连接网络的神经切向核提供了完全优化的集中速率。

    Aug, 2020

  • 从流形学习的角度看深度神经网络架构

    本文旨在比较和描述神经网络结构在几何和拓扑方面的内部表示和层间数据流动的拓扑和几何动态变化，并使用拓扑数据分析和持久性同调分形维数的概念，通过不同层次的数据集以及卷积神经网络和转换网络在计算机视觉和自然语言处理任务中的各种配置的广泛实验，为可解释的和可解释的 AI 的发展做出了贡献。

    Jun, 2023

  • 深度学习的几何理解

    该研究通过几何视角揭示深度学习的关键在于学习数据的流形结构和概率分布，并提出一种控制潜在空间中概率分布的最优质量传递理论。

    May, 2018

  • 使用混合模型 CNN 对图和流形进行几何深度学习

    这篇论文提出了一个以卷积神经网络为基础的统一框架，以推广 CNN 的应用领域到非欧几里得结构的数据，如图形和流形，并且发现这个框架可以在图像、图形和三维形状分析的标准测试中取得更好的性能。

    Nov, 2016

  • 神经网络中数据结构对学习的影响建模：隐藏流形模型

    本文提出了一个名为 “隐藏流形模型” 的生成模型，证明了随机梯度下降算法训练的两层神经网络表现的动态可以通过 Integro-differential 方程组进行跟踪，同时分析了神经网络训练过程中神经网络学习增加复杂度和提高性能的方式以及受其大小、学习率和隐藏流形维度等参数的影响。

    Sep, 2019

  • 流形正则化鉴别性神经网络

    该研究探讨了深度神经网络中过拟合问题的原因，并提出了基于流形假设的正则化方法，包括有标签和无标签情况下的流形正则化，实验证明这些方法可以显著提高模型泛化性能。

    Nov, 2015

  • 使用对抗样本的流形正则化深度神经网络

    提出一种新的深度神经网络训练目标函数，叫做流形规范网络（MRnet），通过最小化样本和对抗样本的多层嵌入结果之间的差异来提高对抗性鲁棒性，实验结果表明 MRnet 更具有对抗性鲁棒性，并帮助我们在流形上推广表示。此外将 MRnet 和 dropout 相结合，为三个著名的基准测试数据集（MNIST，CIFAR-10 和 SVHN）实现了有竞争的分类性能。

    Nov, 2015