Nov, 2015

使用对抗样本的流形正则化深度神经网络

HTML
PDF
TL;DR提出一种新的深度神经网络训练目标函数，叫做流形规范网络（MRnet），通过最小化样本和对抗样本的多层嵌入结果之间的差异来提高对抗性鲁棒性，实验结果表明MRnet更具有对抗性鲁棒性，并帮助我们在流形上推广表示。此外将MRnet和dropout相结合，为三个著名的基准测试数据集（MNIST，CIFAR-10和SVHN）实现了有竞争的分类性能。
发现论文，激发创造
  • 流形正则化鉴别性神经网络

    该研究探讨了深度神经网络中过拟合问题的原因，并提出了基于流形假设的正则化方法，包括有标签和无标签情况下的流形正则化，实验证明这些方法可以显著提高模型泛化性能。

    Nov, 2015

  • 对抗样本的统一梯度正则化方法族

    本文提出了一种统一框架来构建抵御对抗样本的强大机器学习模型，并通过梯度正则化方法有效地对代价函数的梯度进行惩罚，从而达到鲁棒性的目的。实验证明，该方法在两个基准数据集上达到了最佳精度。

    Nov, 2015

  • LDMNet: 低维流形正则化神经网络

    通过使用Low-Dimensional-Manifold-regularized neural Network来加强神经网络的特征提取，有效提高了在小样本情况下的泛化能力并且可以应用于同种物体的跨光谱识别。

    Nov, 2017

  • 鲁棒流形防御：使用生成模型进行对抗训练

    本文提出了一种利用 spanners 的新型攻击方法，通过搜索潜在的编码对，寻找生成在不同分类器输出下具有相似图像的对立范例，从而比传统扰动真实图像的攻击更具优势，在实验中，该攻击成功将 Defense-GAN 的准确率降至 3％，而且该技术与普通的对抗训练相结合，可以获得现有最强的 MNIST 分类器。

    Dec, 2017

  • 基于神经网络的局部深度学习实现

    本文介绍了一种新的深度神经网络方法，用于局部流形学习，重点关注三个隐藏层的深度网络，通过对样本点数量进行回归，得出正则化 $s$ 的近似度量，实现了维度降低和误差消除。

    Mar, 2018

  • 混合流形学习：通过插值隐藏状态获得更好的表示

    Manifold Mixup 是一种正则化方法，有助于训练神经网络在多个隐藏层级别上具有更平滑的决策边界，并提高其对单步对抗攻击的鲁棒性和测试日志似然率。

    Jun, 2018

  • 拆分对抗鲁棒性与泛化

    为了解决网络鲁棒性和泛化性之间的矛盾问题，研究通过对数据流形的研究证明对流形上对抗性样本的限制可以提高模型泛化能力且鲁棒性和泛化性并不矛盾。

    Dec, 2018

  • 用于本地稳定深度神经网络的流形正则化

    本文使用流形正则化的概念开发了新的正则化技术，以训练具有局部稳定性的深度神经网络；我们的正则化器基于图拉普拉斯矩阵的稀疏化，当数据在高维空间中稀疏时，能够高概率地保持；经验证明，我们的网络表现出稳定性，并能够在不同的扰动模型下经受良好的检验；此外，我们的技术高效，并且与网络的额外两个并行前向传递的开销相当。

    Mar, 2020

  • 深度神经网络内存高效训练的流形正则化

    本文提出了一种利用归纳偏置驱动的网络设计原则和基于层的流形正则化目标来实现神经网络学习过程中提高内存效率的框架，该框架的使用结果相对于传统学习技术具有更好的绝对性能和实证一般化误差，可以无缝地与现有的网络压缩方法相结合。

    May, 2023

  • 流形上的投影梯度下降算法

    本文提供了一种可计算、直接且数学严谨的方法，用于近似高维数据的类流形的微分几何，以及从输入空间到这些类流形的非线性投影。该方法应用于神经网络图像分类器的设置中，在流形上生成新颖的数据样本，并实现了流形上的对抗训练的投影梯度下降算法，以解决神经网络对对抗性攻击的敏感性问题。

    Aug, 2023