在过完备情况下分析张量幂法的动态
本文研究了一种高效的参数估计方法,可用于广泛的潜变量模型,特别是那些具有张量结构的模型,包括高斯混合模型、隐马尔可夫模型和潜在狄利克雷分配模型,通过对表示模型可观测矩阵的低阶矩(通常为二阶和三阶)的张量进行分解获得。方法为鲁棒性较强、可有效计算,并可应用于多个流行的潜变量模型。
Oct, 2012
本文提出一种新的基于低秩线性回归和张量幂法的计算高效且具有保证一致性的鉴别性潜变量模型估计方法,该方法在混合线性回归模型中被验证其收敛性能优于局部优化EM算法。
Jun, 2013
本文介绍了使用核方法进行多视图潜变量模型学习的理论。方法利用复现核希尔伯特空间嵌入多视图潜变量的联合分布,并提出了一种有效的张量幂法来恢复潜变量参数。实验结果展示了该非参数模型在多个方面都优于现有光谱算法和EM算法。
Nov, 2013
通过平滑分析模型,本文提出了一种针对高度过完备情况(秩多项式于该张量维度)的张量分解的有效算法,且该算法具有鲁棒性,即使输入存在逆多项式误差,其表现依然可靠。该算法的线性独立性结果为我们在学习过程中应用张量方法提供了方便,为多视图模型和轴向高斯混合等学习问题的研究提供了更多的组件维度。
Nov, 2013
研究 overcomplete 模型下的潜在变量模型,提供了一种基于张量分解方法的半监督和无监督学习算法,能够高效地学习各种高维度潜在变量模型。
Aug, 2014
本文介绍了张量网络及其运算的简介并侧重于介绍用于数据/参数的超压缩高阶表示的张量网络模型及其应用, 包括支持张量机、求广义特征值、深度神经网络等优化问题的张量分解方法,如张量列车和分层 Tuck 分解,并通过图形方法以及基于核张量的低秩张量近似来解释张量网络是如何能够在大量数据上执行分布式计算的。
Aug, 2017
文章提出了一种新的基于张量分解的方法用于学习混合线性动态系统,在不需要分离条件的情况下,可以与Bayes最优分簇竞争,在具有挑战性的部分观测情况下工作。
Jul, 2023
研究了张量PCA模型中的幂迭代算法,通过分析随机初始化的张量幂迭代的动态过程,在不同的信噪比范围内,建立了收敛所需迭代次数的严格界限,发现实际算法的阈值比文献中的猜想小一个polylog(n)因子,并提出了一种简单有效的迭代停止准则,其输出与真实信号高度相关的解,通过大量数值实验验证了理论结果。
Jan, 2024
基于期望最大化(EM)的非负张量分解统一框架,通过优化Kullback-Leibler散度来避免在每次M步骤和学习率调整中的迭代,并建立了低秩分解和多体逼近之间的一般关系,进而利用了多体逼近的闭式解来同时更新所有参数。我们的框架不仅为各种低秩结构(包括CP、Tucker和Train分解)提供了统一的方法,还包括了张量的组合形成混合以及稳健的自适应噪声建模。实证方面,与传统的基于张量的方法相比,我们的框架在离散密度估计方面提供了更好的泛化。
May, 2024