可验证张量方法用于学习广义线性模型混合

Dec, 2014

可验证张量方法用于学习广义线性模型混合

Provable Tensor Methods for Learning Mixtures of Generalized Linear Models

Hanie Sedghi, Majid Janzamin, Anima Anandkumar

TL;DR本文提出了通过张量分解方法学习广义线性模型的混合模型参数的方法，通过对输入进行特征转换以及使用得分函数张量和响应变量的交叉相关计算可以得到正确的参数估计，且其计算和样本复杂度是输入和潜在维度的低阶多项式。

Abstract

We consider the problem of learning mixtures of generalized linear models (GLM) which arise in classification and regression problems. Typical learning approaches such as expectation maximization (EM) or variational Bayes can get stuck in spurious local optima. In contrast, we present a tensor decomposition method which is guaranteed to correctly recover the

mixture of generalized linear models tensor decomposition method input generative model score function tensors computational complexity

发现论文，激发创造

学习潜变量模型的张量分解

本文研究了一种高效的参数估计方法，可用于广泛的潜变量模型，特别是那些具有张量结构的模型，包括高斯混合模型、隐马尔可夫模型和潜在狄利克雷分配模型，通过对表示模型可观测矩阵的低阶矩（通常为二阶和三阶）的张量进行分解获得。方法为鲁棒性较强、可有效计算，并可应用于多个流行的潜变量模型。

Oct, 2012

张量分解遇见控制理论：学习线性动力系统的通用混合

文章提出了一种新的基于张量分解的方法用于学习混合线性动态系统，在不需要分离条件的情况下，可以与 Bayes 最优分簇竞争，在具有挑战性的部分观测情况下工作。

Jul, 2023

估计线性回归混合的频谱专家

本文提出一种新的基于低秩线性回归和张量幂法的计算高效且具有保证一致性的鉴别性潜变量模型估计方法，该方法在混合线性回归模型中被验证其收敛性能优于局部优化 EM 算法。

Jun, 2013

离散密度估计的非负张量混合学习

基于期望最大化 (EM) 的非负张量分解统一框架，通过优化 Kullback-Leibler 散度来避免在每次 M 步骤和学习率调整中的迭代，并建立了低秩分解和多体逼近之间的一般关系，进而利用了多体逼近的闭式解来同时更新所有参数。我们的框架不仅为各种低秩结构（包括 CP、Tucker 和 Train 分解）提供了统一的方法，还包括了张量的组合形成混合以及稳健的自适应噪声建模。实证方面，与传统的基于张量的方法相比，我们的框架在离散密度估计方面提供了更好的泛化。

May, 2024

使用张量分解和交替最小化求解多个随机线性方程混合问题

本研究提出基于张量分解和交替最小化的算法可解决混合线性回归问题，具有多项式复杂度，可在线性维度下提供全局最优性结果。

Aug, 2016

可证明的 Noisy-or 网络学习

本文介绍了如何使用张量分解学习单层嘈杂或网络的方法，并解决了存在系统性误差时如何对张量分解进行分析的问题，这一方法在其他设置中可能有用。

Dec, 2016

利用张量方法学习超完备潜变量模型的样本复杂度分析

研究 overcomplete 模型下的潜在变量模型，提供了一种基于张量分解方法的半监督和无监督学习算法，能够高效地学习各种高维度潜在变量模型。

Aug, 2014

广义张量估计的最优统计和计算框架

该论文提出了一种灵活的通用低秩张量估计问题的框架，包括计算成像、基因组学和网络分析等应用中的许多重要实例，并通过投影梯度下降的统一方法来克服这些问题的非凸性，以适应底层低秩结构，并证明该算法在估计误差的收敛速度上达到极小值最优率。

Feb, 2020

高维广义线性模型中的最优误差和相变

本论文研究高维机器学习中常遇到的广义线性模型，利用互信息推导贝叶斯最优估计和广义错误率，并且严谨论证了存在多个可学习区域，这对于算法开发和模型性能评估具有挑战性。

Aug, 2017

广义线性模型的结构化低秩张量

一项关于采用张量结构在回归问题中进行系数张量估计的新颖低秩张量模型 (LSR) 的研究，提出了参数估计的块坐标下降算法，并得出了一种在 LSR 张量 GLM 问题中用于估计系数张量的极小极大下界，表明其样本复杂度可能远低于矢量化 GLM。

Aug, 2023