混合流形学习:通过插值隐藏状态获得更好的表示
该研究探讨了深度神经网络中过拟合问题的原因,并提出了基于流形假设的正则化方法,包括有标签和无标签情况下的流形正则化,实验证明这些方法可以显著提高模型泛化性能。
Nov, 2015
提出一种新的深度神经网络训练目标函数,叫做流形规范网络(MRnet),通过最小化样本和对抗样本的多层嵌入结果之间的差异来提高对抗性鲁棒性,实验结果表明MRnet更具有对抗性鲁棒性,并帮助我们在流形上推广表示。此外将MRnet和dropout相结合,为三个著名的基准测试数据集(MNIST,CIFAR-10和SVHN)实现了有竞争的分类性能。
Nov, 2015
本文提出了一种使用生成对抗网络的半监督学习方法,通过估计数据流形的切空间并注入不变性到分类器中来提高半监督学习性能,在学习反向映射时提出了改进的方法,并提供了关于假样本对半监督学习过程的影响的见解。
May, 2017
研究使用通过对抗训练引入的置信度信息来增强给定对抗性训练模型的对抗鲁棒性及提出基于置信度信息和最近邻搜索的 Highly Confident Near Neighbor(HCNN)框架,以加强基本模型的对抗鲁棒性,并进行详细的实证研究。
Nov, 2017
本文提出混合增强数据方法MixUp的一种新的视角——“out-of-manifold regularization”,并发现了其存在的“manifold intrusion”问题,提出了一种新的自适应正则化方法AdaMixUp,并通过实验验证了AdaMixUp的优越性。
Sep, 2018
本文研究了Manifold Mixup在few-shot学习中的作用,并结合自监督学习和正则化技术,提出了一种名为S2M2的方法,显著提高了few-shot学习的性能,并在CIFAR-FS、CUB、mini-ImageNet和tiered-ImageNet等标准Few-shot Learning数据集上打破了当前最新的准确性记录。
Jul, 2019
通过在图像的潜在空间中对对抗样本进行对抗训练以及利用生成模型中学习到的流形信息进行双流形对抗训练,可以大大提高深度学习模型的鲁棒性,从而有效地应对多种新颖的对抗攻击。
Sep, 2020
本文提供了一种可计算、直接且数学严谨的方法,用于近似高维数据的类流形的微分几何,以及从输入空间到这些类流形的非线性投影。该方法应用于神经网络图像分类器的设置中,在流形上生成新颖的数据样本,并实现了流形上的对抗训练的投影梯度下降算法,以解决神经网络对对抗性攻击的敏感性问题。
Aug, 2023
深度学习模型的数据增强技术在提高性能方面发挥重要作用。本文提出了一种叫做UMAP Mixup的混合正则化方案,用于深度学习预测模型的“在流形上”自动数据增强。该方法通过利用一种称为统一流形逼近和投影的降维技术,确保Mixup操作生成的合成样本位于特征和标签的数据流形上。对多样的回归任务的评估显示,UMAP Mixup在与其他Mixup变种的竞争中表现出色,显示出改进深度学习模型泛化性能的潜力。
Dec, 2023