多视角潜变量模型的非参数估计

Nov, 2013

Nonparametric Estimation of Multi-View Latent Variable Models

Le Song, Animashree Anandkumar, Bo Dai, Bo Xie

TL;DR本文介绍了使用核方法进行多视图潜变量模型学习的理论。方法利用复现核希尔伯特空间嵌入多视图潜变量的联合分布，并提出了一种有效的张量幂法来恢复潜变量参数。实验结果展示了该非参数模型在多个方面都优于现有光谱算法和 EM 算法。

Abstract

spectral methods have greatly advanced the estimation of latent variable models, generating a sequence of novel and efficient algorithms with strong theoretical guarantees. However, current spectral algorithms are largely restricted to mixtures of discrete or Gaussian distributions. In

spectral methods latent variable models kernel methods multiview learning nonparametric

发现论文，激发创造

估计线性回归混合的频谱专家

本文提出一种新的基于低秩线性回归和张量幂法的计算高效且具有保证一致性的鉴别性潜变量模型估计方法，该方法在混合线性回归模型中被验证其收敛性能优于局部优化 EM 算法。

Jun, 2013

多元潜变树结构的频谱方法学习

该研究考虑了多元线性树模型的结构学习问题，引入了一种基于谱递归分组算法的底层向上过程以从观察到的变量的独立样本中恢复树结构，并给出了确切恢复树结构的有限样本大小界限，这些界限基于潜在联合分布的统计和结构属性，并且样本复杂度保证不依赖于观察变量维度，因此适用于许多高维设置。

Jul, 2011

隐变量联合树的谱算法

使用张量代数，我们提出了一个隐变量模型的新参数化方法，用于计算观测变量的边缘值，并设计了一种基于张量操作和奇异值分解的本地最小化算法来学习这种参数化，这是首个能为低树宽潜在图模型提供一致参数学习技术的研究。

Oct, 2012

利用张量方法学习超完备潜变量模型的样本复杂度分析

研究 overcomplete 模型下的潜在变量模型，提供了一种基于张量分解方法的半监督和无监督学习算法，能够高效地学习各种高维度潜在变量模型。

Aug, 2014

非参数变分推断

本文提出了一种基于非参数核密度估计的变分逼近方法，通过优化内核位置和带宽参数最大化数据边际似然下限，不同于其他变分逼近方法，本方法能够捕捉后验分布的多个模式，并成功应用于各种图模型和非线性矩阵分解模型中，预测性能优于更专业化的变分方法和基于样本的逼近方法。

Jun, 2012

分层矩方法

论文介绍了基于谱方法模型参数学习的强大工具，并提出了一种分层方法去解决模型错误建模的鲁棒性问题。我们用近似的联合对角化取代以前算法中使用的张量分解步骤，并在主题建模实验中表明，我们的方法在速度和模型质量方面优于以前的张量分解方法。

Oct, 2018

学习潜变量模型的张量分解

本文研究了一种高效的参数估计方法，可用于广泛的潜变量模型，特别是那些具有张量结构的模型，包括高斯混合模型、隐马尔可夫模型和潜在狄利克雷分配模型，通过对表示模型可观测矩阵的低阶矩（通常为二阶和三阶）的张量进行分解获得。方法为鲁棒性较强、可有效计算，并可应用于多个流行的潜变量模型。

Oct, 2012

多视角谱聚类的必要张量学习

本文提出了一种基于马尔科夫链的谱聚类方法，并利用一种新颖的本质张量学习方法探索了多视角表示的高阶相关性，通过 Tensor Singular Value Decomposition 基于张量核范数以保持本质张量的低秩性，同时减少了计算复杂性，我们还使用张量旋转运算符进一步研究不同视图之间的关系，该方法可以通过交替方向乘子法（ADMM）高效优化，实验结果表明在六个具有不同应用的真实世界数据集上，我们的方法优于其他最先进的方法。

Jul, 2018

混合输出高斯过程潜变量模型

此研究提出了一种贝叶斯非参数方法，用于信号分离，其中信号可以根据潜在变量而变化。我们的关键性贡献是将高斯过程潜变量模型（GPLVM）扩展为包括每个数据点由多个纯组分信号的加权和构成的情况，并且可以观察多个输入位置。我们的框架允许使用各种关于每个观测的权重的先验知识。这种灵活性使我们能够表示多种用例，包括估计分数构成的加权和为一约束条件和用于分类的二值权重。我们的贡献特别适用于光谱学，其中不同的条件可能导致基础纯组分信号从样本到样本变化。为了证明其在光谱学和其他领域的适用性，我们考虑了几个应用：具有不同温度的近红外光谱数据集，用于识别管道流动配置的模拟数据集，以及通过反射确定岩石类型的数据集。

Feb, 2024

高维半参数潜在图模型中的混合数据

本文提出了一种名为潜在高斯 Copula 模型的半参数模型，用于建模二元和混合数据的多元统计学习。

Apr, 2014