本文介绍了使用 Riemannian optimization 方法求解一类具有特定盒式约束的凸优化问题,通过引入三个流形来实现求解,这些流形适用于具有多维概率分布函数的变量,且在高维度中具有优越性能。
Feb, 2018
论文主要介绍了流形上的优化方法在处理机器学习应用中出现的结构性约束时的优越表现,介绍了基于 Riemannian 优化算法的 Manopt 工具箱,并旨在让优化领域之外的从业者更容易地尝试最新的算法。
Aug, 2013
本文介绍了扩展现有算法,从欧几里得情况到黎曼情况的从等式和不等式约束中考虑代码优化问题,在高维下实现计算效率与准确度的提高,具有重要的实践应用。
Jan, 2019
本文阐述了机器学习中的非凸优化问题和直接方法在此领域的成功应用,旨在介绍这一领域的文献和分析非凸问题的简单程序工具。
Dec, 2017
本篇文章提出了新的方法,以解决施加在黎曼流形上的最优化问题,并将欧几里得空间上的一些优化技术推广到黎曼流形上。文章展示了几个算法,并分析了它们的收敛性质,其中包括可以被认为是黎曼流形上的牛顿方法和共轭梯度方法的两种算法,分别表现出二次和超线性收敛性。此外,还给出了一些在某些黎曼流形上的实例以及数字实验的结果。
Jul, 2014
本研究介绍了 Pymanopt,一个用于在流形上进行优化的工具箱,它实现了几何流形和优化算法,并使用自动微分计算导数信息,以节省用户的时间和避免潜在的计算和实现错误。
Mar, 2016
本文介绍了关于 Grassmann 和 Stiefel 曼陀罗上的一些新的数值线性代数算法,具有优秀的性能表现,并可用于对称特征值问题、非线性特征值问题、电子结构计算和信号处理等领域中出现的约束条件进行建模。
Jun, 1998
提出了在矩阵流形上开发计算效率高的坐标下降(CD)算法的一般框架,从而允许在每次迭代中仅更新少数变量,并符合流形约束。通过一阶目标函数的近似实现了更高效的变体,分析了它们的收敛性和复杂性,并在多个应用中验证了它们的有效性。
Jun, 2024
研究多源异构数据的匹配问题,以实现嵌入式统计推断任务的联合优化,并用文档匹配的应用程序演示了该方法的有效性。
Dec, 2011
本文提出了一种基于随机黎曼梯度和流形投影算子的非凸联邦学习算法,用于在异构客户端数据的紧致平滑子流形上提高计算效率,并通过同时利用流形结构和损失函数特性的新型分析,理论上证明了该算法亚线性收敛到一阶最优解附近,数值实验表明我们的算法具有比现有方法更小的计算和通信开销。