无需流行学习的流形上的学习
本文提出了一种基于深度学习的算法,用于在未知流形中函数的扩展问题上。该算法使用多层神经网络和局部坐标系统来实现函数近似,同时保证输出的误差范围与目标函数的导数数量成正比,并在不需要目标函数的光滑性的情况下自动调整精度。
Jul, 2016
本研究提出了一种在机器人学习中处理非欧几里德流形数值数据的本质方法,该方法通过在流形上选择适当的概率分布,并将其参数作为预测变量的函数进行非参数化估计,同时结合核函数的局部似然方法,实现了比投影算法更好的预测准确性。
Oct, 2023
通过对流形假设的研究,我们发现神经网络的可学习性与流形的曲率、正则性以及数据流形的体积之间存在紧密的关联;流形的有限曲率限制了学习问题的可解性,而数据流形的体积增加则会提高网络的可学习性。此外,我们还探讨了在真实世界数据中常见的具有异质特征的中间流形区域的情况。
Jun, 2024
本文以一种抽象的定理为基础,证明了解决函数逼近中避免维数噪声以及用于流形学习的样本外推的逼近度的两个问题。作者建立了一种浅层网络和深度网络的模型来证明这个定理,并给出了应用案例。
Aug, 2019
我们提出了一种在 Riemannian 流形上进行分布学习的替代方法,该方法只需要一次函数评估,然后将结果投影到流形上。通过在切空间中评估的迹来估计负对数似然的梯度,我们在各种流形上评估了我们的方法,并发现相比之前的工作,推断速度显著提高且具有竞争性的性能。我们在该网址上公开了我们的代码。
Dec, 2023
本文提供了一种可计算、直接且数学严谨的方法,用于近似高维数据的类流形的微分几何,以及从输入空间到这些类流形的非线性投影。该方法应用于神经网络图像分类器的设置中,在流形上生成新颖的数据样本,并实现了流形上的对抗训练的投影梯度下降算法,以解决神经网络对对抗性攻击的敏感性问题。
Aug, 2023
使用统计物理学中的复制法,我们针对一个综合数据集,研究了广义线性回归和分类问题,在超参数化和不充分参数化的条件下,为这些问题提供了渐近泛化表现的闭式表达式,特别地,我们展示了逻辑回归的双重下降效应,突显了用正交投影相比随机高斯投影在学习随机特征时的优越性,讨论了隐藏流形模型中数据相关性的作用。
Feb, 2020
本研究提出了流形密度函数作为一种本质方法来验证流形学习技术。我们的方法通过改进 Ripley 的 K - 函数,在非监督设置中对流形学习算法的输出与潜在流形的结构相符程度进行分类。我们的流形密度函数适用于广泛的黎曼流形类别,并通过使用高斯 - 博内特定理将流形密度函数推广至一般的二维流形,并证明了在超平面上,该流形密度函数可使用第一个拉普拉斯特征值进行良好的近似。此外,我们证明了理想的收敛性和鲁棒性属性。
Feb, 2024
本研究提出了 Distance Learner 方法,利用 “流形假设” 作为先验知识,对于 DNN-based 分类器进行训练,结果表明 Distance Learner 相比标准分类器学习到更有意义的分类边界,并且在对抗鲁棒性任务中表现出色。
Jul, 2022