本文讲述通过考虑模型预测的完备空间,可以在参数空间中找到必须取得的最优拟合,并提出将测地线加速器用于 Levenberg-Marquardt 算法中以提高其收敛性。
Sep, 2009
本文介绍了一种叫做测地线加速的二阶修正方法,该方法可以提高 Levenberg-Marquardt 算法的性能,并证明了该方法可以通过适当的适应,扩展到三次阶。同时,该方法并不试图改善 Gauss-Newton 逼近 Hessian 方法,而是通过小残差逼近扩展到三次阶。
Jul, 2012
本文研究了浅层线性神经网络的平方误差损失景观。研究表明,对于相应的优化问题,其具有良好的几何性质,没有虚假局部极值,每个鞍点的 Hessian 矩阵至少有一个负特征值。这意味着在每个鞍点处,都有一个负的曲率方向可以用来优化目标函数值,因此很多局部搜索算法,如梯度下降,可以证明具有全局收敛性。
May, 2018
使用测地线进行协方差矩阵建模,通过最小化样本协方差矩阵到测地线的距离解决代表性协方差矩阵的选择问题,并展示了其在有噪声数据下解决方案的精度较高。
Jan, 2020
研究了在流形上建模的线性回归,并分析了嵌入空间中的曲率对回归解决方案唯一性的影响,揭示了数据流形几何在确保回归模型对分布外推理的稳定性方面的作用。
Jul, 2023
考虑在深度学习网络中广泛使用的用于最小化 L^2 损失函数的梯度下降流,我们介绍了两个修改版本;一个适用于过参数化设置,另一个适用于欠参数化设置。两者均具有清晰且自然的不变几何意义,考虑到过参数化设置中的拉回向量丛结构和欠参数化设置中的推前向量丛结构。在过参数化情况下,我们证明,只要满足一个秩条件,所有修改后的梯度下降轨道都以统一指数收敛速度将 L^2 成本驱动到其全局最小值。我们指出了后者与次黎曼几何的关系。
Nov, 2023
通过在具有截断度量的流形上进行优化,我们得到了函数的最优解,并通过构造适当的回缩映射将途经的递近测地线拉回到流形上,从而有效地沿着近似的测地线进行优化。
Aug, 2023
该论文提出了一个几何统计分析框架,适用于泛化的不适定线性反问题模型,包括噪声压缩感知、符号向量恢复、迹回归、正交矩阵估计和噪声矩阵完成等特殊情况,提出了可行的计算凸规划方法,用于统计推断,包括估计、置信区间和假设检验。该论文建立了一个理论框架,以表征局部估计收敛速度,并提供统计推断保证,其结果基于局部锥几何和对偶性,并通过高斯宽度和 Sudakov 最小化估计量表征局部切锥的几何。
Apr, 2014
研究了深度生成模型所学习的流形的黎曼几何,并提出了计算测地线和沿流形路径平行传递切向量的算法,发现这些模型学习的流形近似于零曲率,并探讨了这种现象的实际影响。
Nov, 2017
通过数值工具来获得保持汉密尔顿量的测地线,提出了一个基于模型的连续流形上的距离场和测地线流的参数化方法,以及基于曲率的训练机制,以对测地偏离程度较高的流形区域进行采样和缩放。
May, 2023