该研究探讨了深度神经网络中过拟合问题的原因,并提出了基于流形假设的正则化方法,包括有标签和无标签情况下的流形正则化,实验证明这些方法可以显著提高模型泛化性能。
Nov, 2015
本文探讨一种完全无监督的深度学习方法,用于计算保持低维嵌入的等度量映射,通过Siamese配置来训练神经网络以解决多维最小二乘尺度问题。
Nov, 2017
本文提出了一个新颖的局部生成对抗网络(Localized GAN),使用局部坐标系向量化真实数据的不同局部几何变换。在正交先验的作用下避免了流形局部坍塌到低维切向子空间,降低了模式崩溃的风险。用提出的LGAN训练分类器不仅能获得更优结果,而且分类结果是在流形中的局部连续性解释,与拉普拉斯-贝尔特拉米算子密切相关。
本文提出了一种利用 spanners 的新型攻击方法,通过搜索潜在的编码对,寻找生成在不同分类器输出下具有相似图像的对立范例,从而比传统扰动真实图像的攻击更具优势,在实验中,该攻击成功将 Defense-GAN 的准确率降至 3%,而且该技术与普通的对抗训练相结合,可以获得现有最强的 MNIST 分类器。
Dec, 2017
Manifold Mixup 是一种正则化方法,有助于训练神经网络在多个隐藏层级别上具有更平滑的决策边界,并提高其对单步对抗攻击的鲁棒性和测试日志似然率。
Jun, 2018
通过在图像的潜在空间中对对抗样本进行对抗训练以及利用生成模型中学习到的流形信息进行双流形对抗训练,可以大大提高深度学习模型的鲁棒性,从而有效地应对多种新颖的对抗攻击。
Sep, 2020
本研究提出了Distance Learner方法,利用“流形假设”作为先验知识,对于DNN-based分类器进行训练,结果表明Distance Learner相比标准分类器学习到更有意义的分类边界,并且在对抗鲁棒性任务中表现出色。
Jul, 2022
本文提供了一种可计算、直接且数学严谨的方法,用于近似高维数据的类流形的微分几何,以及从输入空间到这些类流形的非线性投影。该方法应用于神经网络图像分类器的设置中,在流形上生成新颖的数据样本,并实现了流形上的对抗训练的投影梯度下降算法,以解决神经网络对对抗性攻击的敏感性问题。
Aug, 2023
此论文通过实验分析了通过机器学习模型学习到的流形,比较了每个纪元学习到的流形与真实数据流形的差异,并研究了流形的内在维度和拓扑特征,以及这些度量随着模型训练的变化和趋于真实数据流形度量的趋势。
Mar, 2024
本研究探讨了生成模型流形的局部几何与生成质量之间的关系,补充了传统评估方法的不足。我们提出了一种新方法,利用局部几何描述符来定量分析生成效果,并发现这些描述符与生成美学及不确定性存在显著相关性。最终的结果表明,通过局部几何训练奖励模型,可以有效控制生成样本的质量。
Aug, 2024