学习潜变量模型的张量分解

Oct, 2012

Tensor decompositions for learning latent variable models

Anima Anandkumar, Rong Ge, Daniel Hsu, Sham M. Kakade, Matus Telgarsky

TL;DR本文研究了一种高效的参数估计方法，可用于广泛的潜变量模型，特别是那些具有张量结构的模型，包括高斯混合模型、隐马尔可夫模型和潜在狄利克雷分配模型，通过对表示模型可观测矩阵的低阶矩（通常为二阶和三阶）的张量进行分解获得。方法为鲁棒性较强、可有效计算，并可应用于多个流行的潜变量模型。

Abstract

This work considers a computationally and statistically efficient parameter estimation method for a wide class of latent variable models---including Gaussian mixture models, hidden Markov models, and latent Dirichlet allocation---which exploits a certain tensor structure in their low-o

latent variable models tensor decomposition parameter estimation robust method symmetric tensor

发现论文，激发创造

可验证张量方法用于学习广义线性模型混合

本文提出了通过张量分解方法学习广义线性模型的混合模型参数的方法，通过对输入进行特征转换以及使用得分函数张量和响应变量的交叉相关计算可以得到正确的参数估计，且其计算和样本复杂度是输入和潜在维度的低阶多项式。

Dec, 2014

张量分解遇见控制理论：学习线性动力系统的通用混合

文章提出了一种新的基于张量分解的方法用于学习混合线性动态系统，在不需要分离条件的情况下，可以与 Bayes 最优分簇竞争，在具有挑战性的部分观测情况下工作。

Jul, 2023

可证明的 Noisy-or 网络学习

本文介绍了如何使用张量分解学习单层嘈杂或网络的方法，并解决了存在系统性误差时如何对张量分解进行分析的问题，这一方法在其他设置中可能有用。

Dec, 2016

矩阵和张量的谱学习

该研究论文介绍了基于张量分解方法的高阶时刻谱方法及其计算技术，也提出了一个名为 Tensorly 的 Python 数组操作工具，具有良好的灵活性和兼容性，能够与多种深度学习框架结合使用来学习广泛的潜在变量模型。

Apr, 2020

用于信号处理应用的张量分解：从双向到多向分量分析

本文从信号处理角度提供了关于高阶张量分解的全面介绍，包括基本的 CP 和 Tucker 模型，通过多种数据处理方法提供更加灵活和自然的潜在因素；研究表明张量分解可用作现代信号处理、数据分析和机器学习应用的最有效和最有前途的工具。

Mar, 2014

张量分解的平滑分析

通过平滑分析模型，本文提出了一种针对高度过完备情况（秩多项式于该张量维度）的张量分解的有效算法，且该算法具有鲁棒性，即使输入存在逆多项式误差，其表现依然可靠。该算法的线性独立性结果为我们在学习过程中应用张量方法提供了方便，为多视图模型和轴向高斯混合等学习问题的研究提供了更多的组件维度。

Nov, 2013

张量分解及其在机器学习中的应用简介

本文将全面介绍张量（Tensors）的概念和分解方法，并探讨它们在机器学习中的应用，特别是在无监督学习和多关系数据分析等领域的优越性，同时结合实例研究了张量估计混合模型的基本方法，并提供了相关软件类库的参考。

Nov, 2017

分层矩方法

论文介绍了基于谱方法模型参数学习的强大工具，并提出了一种分层方法去解决模型错误建模的鲁棒性问题。我们用近似的联合对角化取代以前算法中使用的张量分解步骤，并在主题建模实验中表明，我们的方法在速度和模型质量方面优于以前的张量分解方法。

Oct, 2018

利用张量方法学习超完备潜变量模型的样本复杂度分析

研究 overcomplete 模型下的潜在变量模型，提供了一种基于张量分解方法的半监督和无监督学习算法，能够高效地学习各种高维度潜在变量模型。

Aug, 2014

可证明的稀疏张量分解

本研究提出了一种新的稀疏张量分解方法 - Tensor Truncated Power（TTP）方法，它将变量选择纳入分解组件估计中，通过张量幂迭代中嵌入的有效截断步骤来实现稀疏性。我们证明该方法可以应用于高维潜变量模型，包括高维高斯混合和稀疏回归混合。经过深入的理论研究，我们发现最终的分解估计器有助于实现局部统计速率，并通过引入适当的初始化过程进一步加强全局统计速率。在高维度情况下，所获得的统计速率显着优于现有的非稀疏分解方法。TTP 的实证优势在广泛的仿真结果和 Click-through 率预测和高维基因聚类的两个真实应用中得到了证实。

Feb, 2015