Oct, 2012

隐变量联合树的谱算法

PDF
TL;DR使用张量代数，我们提出了一个隐变量模型的新参数化方法，用于计算观测变量的边缘值，并设计了一种基于张量操作和奇异值分解的本地最小化算法来学习这种参数化，这是首个能为低树宽潜在图模型提供一致参数学习技术的研究。
latent variable modelstensor algebraparameterizationmarginalslocal-minimum-free algorithm
发现论文，激发创造
  • 多元潜变树结构的频谱方法学习

    该研究考虑了多元线性树模型的结构学习问题，引入了一种基于谱递归分组算法的底层向上过程以从观察到的变量的独立样本中恢复树结构，并给出了确切恢复树结构的有限样本大小界限，这些界限基于潜在联合分布的统计和结构属性，并且样本复杂度保证不依赖于观察变量维度，因此适用于许多高维设置。

    Jul, 2011

  • 利用预测信念传播学习通用潜变量图模型

    提出了一种基于预测信念传播的新型学习和推断算法，对于一般潜变量图模型，算法将硬参数学习问题简化为一系列监督学习问题，并将学习不同种类的潜变量图模型统一到一个局部最优、统计一致的学习框架中，此算法在合成和真实数据集上显著优于前人方法，也更快地计算。

    Dec, 2017

  • 多视角潜变量模型的非参数估计

    本文介绍了使用核方法进行多视图潜变量模型学习的理论。方法利用复现核希尔伯特空间嵌入多视图潜变量的联合分布，并提出了一种有效的张量幂法来恢复潜变量参数。实验结果展示了该非参数模型在多个方面都优于现有光谱算法和 EM 算法。

    Nov, 2013

  • 学习潜在树图模型

    本文提出了两种一致且计算效率高的算法，用于学习最小化的潜在树图模型，并与其他现有方法进行了比较，所提出的算法在隐藏马尔可夫模型和星形图等各种潜在树图模型上进行了详尽的数值实验。

    Sep, 2010

  • 通用图形模型的隐变量结构化预测效率

    本文提出了一个有潜在变量的结构化预测的统一框架，包括隐藏的条件随机场和潜在的结构支持向量机。通过对偶性描述了这种普遍公式的局部熵逼近，在图像分割和从单个图像中理解三维室内场景的任务中表现出不错的效果，比潜在结构支持向量机和隐藏条件随机场方法要好。

    Jun, 2012

  • 潜在狄利克雷分配的谱算法

    提出了一种名为 ECA 的学习流程，基于低阶矩的光谱分解，它可以恢复多种混合模型的参数，并在仅使用三元统计时正确恢复主题概率向量和主题优先级，因此具有可扩展性。

    Apr, 2012

  • 具潜变量的循环图模型学习：高效方法与保证

    研究了隐变量图模型中的结构估计问题，提出了一种计算高效且保证正确性的方法，并应用于局部树状结构的模型及相关衰减的模型，特别地，对于伊辛模型，该方法能与采样要求的下界接近。

    Mar, 2012

  • 估计线性回归混合的频谱专家

    本文提出一种新的基于低秩线性回归和张量幂法的计算高效且具有保证一致性的鉴别性潜变量模型估计方法，该方法在混合线性回归模型中被验证其收敛性能优于局部优化 EM 算法。

    Jun, 2013

  • 借助稀疏潜在结构实现动态计算图

    本篇研究介绍了一种使用 SparseMAP inference 进行训练的方式，可以在维持可区分性的同时，实现从全局潜在结构建立不受限制的动态计算图，从而助力于深度神经网络建模的训练。

    Sep, 2018

  • 使用最优最小二乘法进行树张量网络的主动学习

    本文提出了新的学习算法，利用树状张量网络在最小二乘法下逼近高维函数，通过使用基于多变量函数的主成分分析的一般化，给定张量网络的维树或结构，提供一种生成嵌套张量子空间序列的算法，通过使用从先前生成的子空间依赖的分布生成的样本计算投影。提供期望下的误差界限。提出了适应特征空间和等级以达到规定误差的实用策略。还提出了一种通过合适的变量配对逐渐构建维度树的算法，允许进一步减少达到该错误所需的样本数。数值实验说明了所提出算法的性能，并表明可以得到稳定的逼近值，样本数接近于估计的张量网络的自由参数数目。

    Apr, 2021