一种灵活高效的约束矩阵和张量分解算法框架
本篇研究提出了一种基于 ADMoM 的约束张量分解框架,构建分布式算法,有效节省计算量,可以更容易地纳入其他类型的约束条件下优化计算,其中以非负性为基线限制,实践结果非常鼓舞人心,说明 ADMoM 非负张量分解 (NTF) 作为一种替代非常有潜力。
Sep, 2014
基于耦合矩阵和张量分解的数据融合模型是从多个数据源联合分析数据的有效工具。本文介绍了一种灵活的算法框架,利用交替优化和交替方向乘子法来适应基于 PARAFAC2 的 CMTF 模型,允许在所有模式和线性耦合到其他矩阵、CP 或 PARAFAC2 模型上施加各种约束。实验证明了该框架的实用性和多功能性,并与最先进的方法相比,在准确性和效率方面具有优势。
Jun, 2024
本文提出了一种基于 ADMM 算法的方法,可以用于解决包含多元仿射约束条件及非凸、非光滑目标函数的优化问题,并证明在满足特定条件下,该方法可以收敛于受约束的稳定点解集合,且在 Kurdyka-Lojasiewicz 性质成立的情况下,可进一步收敛于单个受约束的稳定点。作者应用该方法解决了矩阵分解、风险均衡投资组合优化、凸优化问题的非凸化以及神经网络训练等问题,并证明算法子问题可以有封闭式解。
Feb, 2018
提出一种新颖的框架 AADMM,用于加速线性化交替方向乘子法 (ADMM),对于一类具有线性约束的凸复合优化问题,AADMM 的收敛速度比线性化 ADMM 更快,而且当相应的鞍点问题有解时,AADMM 能够处理无边界的可行域,并提出了一种回溯算法来提高实际性能。
Jan, 2014
该论文提出了一种面向一般线性观测模型中低秩张量逆问题的新统一优化算法,该算法支持多种低秩张量分解模型和基本损失函数,并提出了基于交替方向乘子法向和主化极小化方法的优化算法。通过该算法可以解决广泛的应用,并且可以轻松扩展到任何已建立的张量分解模型。
Dec, 2023
本文提出了一种耦合矩阵和张量分解 (CMTF) 方法,通过 all-at-once 优化的方法来融合包含不同矩阵和高阶张量的异构数据集,并可以处理不完整数据集,实现更精准的数据分析。
May, 2011
提出了 Gauss-Seidel ADMMs 和 Jacobian ADMMs 框架及其收敛分析。我们展示了这些框架可以通过最小化可分离 majorant 替代加强本来只可以解决可分离问题的 ADMMs。我们还介绍了几种提高 ADMM 效率的技术,特别地,我们提出了 M-ADMM,它通过吸收 Gauss-Seidel ADMMs 的特点来缓解 Jacobian ADMMs 的缓慢收敛问题。在理论保证和数值实验方面,我们的新 ADMMs 表现优越。此外,我们还发布了一个工具箱,其中包含了很多压缩感知问题的高效 ADMMs 的实现。
Jul, 2016
该研究分析了 ADMM 算法在解决一些非凸共识和共享问题时的收敛性,发现当增广拉格朗日乘数的惩罚参数足够大时,经典 ADMM 算法会收敛到静止解的集合。对于共享问题,我们发现 ADMM 无论变量块的数量如何,都是收敛的。该分析不对算法生成的迭代强加任何假设,并且广泛适用于涉及近端更新规则和各种灵活的块选择规则的 ADMM 变体。
Oct, 2014
针对高阶张量分解中的模型选择、大规模数据和计算效率等难点,本文提出了一种基于迹范数的正则化并可并行计算的分解方法,能够有效分解低秩结构的张量,并具有较强的鲁棒性。
Jul, 2014
本文针对图像科学中广泛使用的一类优化问题,基于 ADMM 算法,通过使用通用的双重步长方法、构建特殊的潜函数以及采用简单的初始化策略实现了非凸优化问题全局收敛和解决,并在实际应用中进行了比较实验,表明最优化效果良好。
Jun, 2015