Dec, 2023

广义张量分解的 ADMM-MM 算法

PDF
TL;DR该论文提出了一种面向一般线性观测模型中低秩张量逆问题的新统一优化算法，该算法支持多种低秩张量分解模型和基本损失函数，并提出了基于交替方向乘子法向和主化极小化方法的优化算法。通过该算法可以解决广泛的应用，并且可以轻松扩展到任何已建立的张量分解模型。
tensor decompositionoptimization algorithmlow-rank tensorsloss functionshierarchical combination
发现论文，激发创造
  • 通过并行 ADMM 进行广义高阶张量分解

    针对高阶张量分解中的模型选择、大规模数据和计算效率等难点，本文提出了一种基于迹范数的正则化并可并行计算的分解方法，能够有效分解低秩结构的张量，并具有较强的鲁棒性。

    Jul, 2014

  • 基于张量分解的 DNN 模型压缩及优化框架

    本文提出一种基于张量分解的模型压缩系统，采用交替方向乘子法进行优化求解。该系统适用于卷积神经网络和循环神经网络，可大幅降低计算量和参数量，并保持较高的准确性。

    Jul, 2021

  • 高维情况下的多步随机 ADMM：稀疏优化和嘈杂矩阵分解应用

    本文介绍了一种基于 epoch-based 退火的高维优化算法 ADMM，其可以用于稀疏优化问题和矩阵分解问题，实验结果表明其在精度和时间复杂度方面均优于现有算法。

    Feb, 2014

  • 一种基于 Majorization Minimization 的统一交替方向乘子法

    提出了 Gauss-Seidel ADMMs 和 Jacobian ADMMs 框架及其收敛分析。我们展示了这些框架可以通过最小化可分离 majorant 替代加强本来只可以解决可分离问题的 ADMMs。我们还介绍了几种提高 ADMM 效率的技术，特别地，我们提出了 M-ADMM，它通过吸收 Gauss-Seidel ADMMs 的特点来缓解 Jacobian ADMMs 的缓慢收敛问题。在理论保证和数值实验方面，我们的新 ADMMs 表现优越。此外，我们还发布了一个工具箱，其中包含了很多压缩感知问题的高效 ADMMs 的实现。

    Jul, 2016

  • 具有生成先验学习的快速可证明 ADMM

    本文提出了一种线性化的 ADMM 算法，用于最小化一个凸函数在非凸约束下的解，旨在解决变量处于神经网络范围内的约束问题，并给出了这种算法在 feedforward 架构下的性能特征，相比于梯度下降法更加高效。

    Jul, 2019

  • 张量列车秩最小化：统计效率和可扩展算法

    本文提出了一种基于张量分解的方法，通过引入凸弛松弛的方法和随机化技术构建一种具有可扩展性的交替优化算法，用于高维张量的完成任务，实验结果表明了该方法的性能。

    Aug, 2017

  • 多分辨率低秩张量分解

    通过多分辨率低秩张量分解以层次化方式描述张量，这种方法能够利用不同层次分辨率上的结构，创造性地解决了高阶张量分解这一基础问题。

    May, 2024

  • 一种灵活高效的约束矩阵和张量分解算法框架

    提出一种新的混合算法框架，将交替优化和交替方向乘子法相结合，称为交替优化 - 交替方向乘子法。该框架适用于矩阵和张量因子分解，可以自然地适应各种约束和拟合损失，并通过缓存和启发式策略实现了高效更新，在实践中具有更快和更稳定的收敛。非负矩 / 张量因子分解、约束矩 / 张量完成和字典学习是该算法的三个特例。

    Jun, 2015

  • 一种加速线性化交替方向乘子法

    提出一种新颖的框架 AADMM，用于加速线性化交替方向乘子法 (ADMM)，对于一类具有线性约束的凸复合优化问题，AADMM 的收敛速度比线性化 ADMM 更快，而且当相应的鞍点问题有解时，AADMM 能够处理无边界的可行域，并提出了一种回溯算法来提高实际性能。

    Jan, 2014

  • 拆封 ADMM: 通过转置缩减实现高效的分布式计算

    我们提出了迭代方法，并使用转置降维策略解决全局子问题，使单个节点能够在分布式数据集上解决最小二乘问题，为线性分类器和稀疏线性模型的拟合提供了简单迭代方法，并且使用超过 7000 个核心的分布式实现要比以前的方法节省时间。

    Apr, 2015