马尔可夫 - 利普希茨深度学习
通过使用 Low-Dimensional-Manifold-regularized neural Network 来加强神经网络的特征提取,有效提高了在小样本情况下的泛化能力并且可以应用于同种物体的跨光谱识别。
Nov, 2017
基于机器学习和数据科学的关键方法之一,流形学习旨在揭示高维空间中复杂非线性流形内部的内在低维结构。我们提出了一种可扩展的流形学习方法,可以高效地处理大规模和高维数据,从而应用于可视化、分类等领域。
Jan, 2024
该论文提出了一种名为 invertible manifold learning 的两阶段降维方法来保持拓扑和地理结构的完整性,其中包括一个稀疏坐标转换学习低维表示和一个局部等距约束来保留局部几何形状,同时通过线性压缩在目标维度和信息损失之间寻找平衡点,并使用 i-ML-Enc 在七个数据集上进行了实验,证明该方法可以实现可逆降维以及学习流形数据的性质。
Oct, 2020
本文使用流形正则化的概念开发了新的正则化技术,以训练具有局部稳定性的深度神经网络;我们的正则化器基于图拉普拉斯矩阵的稀疏化,当数据在高维空间中稀疏时,能够高概率地保持;经验证明,我们的网络表现出稳定性,并能够在不同的扰动模型下经受良好的检验;此外,我们的技术高效,并且与网络的额外两个并行前向传递的开销相当。
Mar, 2020
本文探讨一种完全无监督的深度学习方法,用于计算保持低维嵌入的等度量映射,通过 Siamese 配置来训练神经网络以解决多维最小二乘尺度问题。
Nov, 2017
通过全局流形的视角考虑深度神经网络对抗攻击的模型鲁棒性问题,提出了一种新的对抗训练方法 ATLD,该方法在不受监督的情况下,利用了本地和全局潜在信息,通过对抗游戏生成潜在流形对抗性实例,保留了流形的局部和全局信息,具有良好的鲁棒性,实验结果表明该方法在多个数据集上显著优于现有技术。
Jul, 2021
本文提出了一种面向流形训练深度神经网络的通用框架,利用切空间和指数映射,将最终输出元素在 Riemann 流形上的深度神经网络的训练问题转化为当前深度学习研究的问题,在多类图像分类和人脸图像回归上显示出改进后的性能。
Aug, 2017
本文提出了一种新的由两个独立模型构成的度量学习结构 Guided Deep Metric Learning,通过使用 Few-Shot Learning 的角度来生成一个基于带标签数据的先验知识的减少的假设空间,之后通过离线的知识蒸馏方案来指导或规则化学生模型的决策边界,提高在分布偏移下的一般化,并获得了高达 40% 的 (Recall@1, CIFAR10) 改进。
Jun, 2022
基于黎曼流形的图神经网络模型中,我们提出了两个关键的图神经网络层。第一个是扩散层,其基于流形值图扩散方程,适用于任意数量节点和图的连通模式。第二个是切线多层感知机层,借鉴了向量神经元框架的思想,并在一般的情境中应用。这两个层在节点排列和特征流形的等变性方面表现出非常好的性能。在合成数据和海马右侧三角网格对阿尔茨海默病分类的数值实例中,我们的模型均取得了非常好的性能。
Jan, 2024
我们提出了一种使用精神病医学数据进行 Alzheimer 疾病组差异分析的卷积神经网络框架,并介绍了如何在计算过程中考虑 Riemann 流形结构。
Oct, 2019