Jan, 2024

块主导性最小化方法的外推与应用: β-NMF

PDF
TL;DR我们提出了一种用于解决一类多凸优化问题的块主导最小化方法及其外推算法（BMMe）。该方法通过使用一种新颖的自适应更新规则来更新 BMMe 的外推参数。通过将块主导最小化重新表述为一种块镜像下降方法，并在每次迭代中自适应地更新 Bregman 散度，我们为 BMMe 建立了逐次收敛性。我们使用该方法设计了高效算法来解决带有 $\beta$- 散度（$\beta$-NMF）的非负矩阵分解问题。这些算法使用外推的乘法更新，并从我们的新颖结果中获得了收敛保证。我们还通过大量实验证明了 BMMe 在 $\beta$-NMF 中的显著加速。
block majorization minimization methodextrapolationmulti-convex optimization problemsnonnegative matrix factorization$\beta$-divergences
发现论文，激发创造
  • 使用 Beta 散度算法进行非负矩阵分解

    本文提出了基于辅函数的优化方法，包括使用附属函数的 majorization-minimization (MM) 算法和 majorization-equalization (ME) 算法，以求解非负矩阵分解 (NMF) 中的 beta-divergence 形式，同时扩展了该算法以适应罚款 NMF 和 凸 - NMF，并且论文通过对合成和真实数据的模拟证明了 ME 算法的收敛更快。

    Oct, 2010

  • 深度非负矩阵分解与 Beta 散度

    开发了基于 $eta$-divergences 的新深度非负矩阵分解模型和算法，并将这些技术应用于提取面部特征、文档集中主题的识别和高光谱图像中的材料识别。

    Sep, 2023

  • 正则化泊松非负矩阵分解的高效算法

    我们研究了正则化泊松非负矩阵分解（NMF）问题，包括利普希茨和相对平滑函数以及线性约束的各种正则化项。我们利用块递进上界最小化（BSUM）来克服主要损失项为 KL 散度的挑战，构建适当的上界函数，并展示如何引入线性约束进入该问题中。这导致了两种新的正则化泊松 NMF 算法的发展。我们进行了数值模拟展示我们方法的有效性。

    Apr, 2024

  • 一种带自适应动量的加速分块近端框架用于非凸非光滑优化

    我们提出了一种加速的块近端线性框架与适应性动量 (ABPL$^+$) 用于非凸和非光滑优化。

    Aug, 2023

  • 非负矩阵分解中基于 β 分布的自动相关性确定

    该论文提出了一种基于贝叶斯模型和自动相关性确定的方法，使用 eta- 差异度量来评估非负矩阵分解中的潜在维数，并通过主化最小化算法进行后验最大化估计，从而达到估计模型顺序和实现要素剔除的目的。

    Nov, 2011

  • 非光滑和非凸优化的轻松主元最小化

    本文提出了一种新的主化 - 最小化（MM）方法，适用于非光滑和非凸规划，其广泛性足以涵盖现有的 MM 方法。与现有的 MM 方法相比，该方法构建替代函数的方式更优越，相应的算法在抗干扰矩阵分解问题（RMF）中得到应用，并非仅仅基于平滑部分逼近的代理函数，而是直接逼近非平滑目标函数。

    Nov, 2015

  • 非负矩阵分解正则化的乘法更新算法的统一收敛分析

    本文提出了一个简单、自包含和统一的证明，证明了应用于广泛范围的差异和正则化的 NMF 的 MU 算法的收敛性，其迭代序列收敛于非凸 NMF 优化问题的静态点。

    Sep, 2016

  • 非负因子分解与最大边双团问题

    本文主要研究了基于非负矩阵分解的数据压缩和解释方法中的 Nonnegative Factorization 问题，并通过引入新的类别的算法 Hierarchical Alternating Least Squares (HALS) 来提高它的效率，同时对大规模的无向图的最大边双向子图问题进行了降阶处理，并将其与 Nonnegative Factorization 的稳定点联系起来，得出了一种新的边双向子图发现算法。

    Oct, 2008

  • 使用近端梯度下降有效因式分解布尔矩阵

    本研究提出了一种使用弹性二进制正则化的布尔矩阵分解算法，以降低计算成本并提高可解释性，在合成和真实数据上实现了良好的结果。在医学领域的案例研究表明了该算法的结果易于解释和语义意义重大。

    Jul, 2023

  • 非负矩阵分解的加速乘法更新和分层 ALS 算法

    本文提出了一种加速处理非负矩阵分解问题的技术，通过在每个迭代步骤中精确分析计算成本，来保持算法的收敛性。这种加速技术可以应用于其他算法，并且已在图像和文本数据集上进行了实证研究。

    Jul, 2011