Mar, 2020

用于本地稳定深度神经网络的流形正则化

PDF
TL;DR本文使用流形正则化的概念开发了新的正则化技术，以训练具有局部稳定性的深度神经网络；我们的正则化器基于图拉普拉斯矩阵的稀疏化，当数据在高维空间中稀疏时，能够高概率地保持；经验证明，我们的网络表现出稳定性，并能够在不同的扰动模型下经受良好的检验；此外，我们的技术高效，并且与网络的额外两个并行前向传递的开销相当。
发现论文，激发创造
  • 深度神经网络内存高效训练的流形正则化

    本文提出了一种利用归纳偏置驱动的网络设计原则和基于层的流形正则化目标来实现神经网络学习过程中提高内存效率的框架，该框架的使用结果相对于传统学习技术具有更好的绝对性能和实证一般化误差，可以无缝地与现有的网络压缩方法相结合。

    May, 2023

  • LDMNet: 低维流形正则化神经网络

    通过使用 Low-Dimensional-Manifold-regularized neural Network 来加强神经网络的特征提取，有效提高了在小样本情况下的泛化能力并且可以应用于同种物体的跨光谱识别。

    Nov, 2017

  • 数据流形上的本地高阶正则化

    介绍了一种新型的正则化方法，它是全局高阶的，不会出现图拉普拉斯正则化中的退化问题。通过构建一个局部一阶替代几何形式，有助于减少计算复杂度，并基于局部导数评估构造高阶正则化方法，该方法在人体形状和姿势分析中的实验表明了其有效性和效率。

    Feb, 2016

  • 使用对抗样本的流形正则化深度神经网络

    提出一种新的深度神经网络训练目标函数，叫做流形规范网络（MRnet），通过最小化样本和对抗样本的多层嵌入结果之间的差异来提高对抗性鲁棒性，实验结果表明 MRnet 更具有对抗性鲁棒性，并帮助我们在流形上推广表示。此外将 MRnet 和 dropout 相结合，为三个著名的基准测试数据集（MNIST，CIFAR-10 和 SVHN）实现了有竞争的分类性能。

    Nov, 2015

  • 流形正则化鉴别性神经网络

    该研究探讨了深度神经网络中过拟合问题的原因，并提出了基于流形假设的正则化方法，包括有标签和无标签情况下的流形正则化，实验证明这些方法可以显著提高模型泛化性能。

    Nov, 2015

  • 深度图拉普拉斯正则化用于真实图像的鲁棒去噪

    结合基于模型的方法和数据驱动的深度学习方法，利用图拉普拉斯正则化作为可训练模块进行真实图像去噪，提出一种可全程微分和端对端训练的图像去噪方法，不易过拟合，跨领域泛化性能强，相对于现有技术具有显著的优越性。

    Jul, 2018

  • 利普希茨正则化深度神经网络的泛化性能和防御对抗攻击能力

    本文研究了深度神经网络的输入梯度正则化，并证明了这种正则化可以导致泛化证明和改进的对抗性稳健性。通过将对抗训练与 Lipschitz 正则化相结合，可以使模型更加稳健，并且可以使用图像的梯度范数进行攻击检测。

    Aug, 2018

  • GCN 的 $p$ 范正则化随机学习的稳定性和泛化性

    本文探讨了图卷积网络在平滑性和稀疏性之间的权衡，并提出了一种新的随机梯度下降模型来解决这个问题。通过该模型，本文对单层 GCN 在稀疏性学习中的理论性质进行了分析，并验证了理论结论。

    May, 2023

  • 基于神经网络的局部深度学习实现

    本文介绍了一种新的深度神经网络方法，用于局部流形学习，重点关注三个隐藏层的深度网络，通过对样本点数量进行回归，得出正则化 $s$ 的近似度量，实现了维度降低和误差消除。

    Mar, 2018

  • 基于 GAN 的半监督学习：重温流形正则化

    使用 GAN 进行流形正则化，采用 Monte Carlo 近似方法进行拉普拉斯规范化，结合 GAN 实现特征匹配 GAN，并在 CIFAR-10 数据集上实现了半监督学习并取得了最先进的结果。

    May, 2018