May, 2024

离散密度估计的非负张量混合学习

PDF
TL;DR基于期望最大化 (EM) 的非负张量分解统一框架，通过优化 Kullback-Leibler 散度来避免在每次 M 步骤和学习率调整中的迭代，并建立了低秩分解和多体逼近之间的一般关系，进而利用了多体逼近的闭式解来同时更新所有参数。我们的框架不仅为各种低秩结构（包括 CP、Tucker 和 Train 分解）提供了统一的方法，还包括了张量的组合形成混合以及稳健的自适应噪声建模。实证方面，与传统的基于张量的方法相比，我们的框架在离散密度估计方面提供了更好的泛化。
expectation-maximizationnon-negative tensor decompositionkullback-leibler divergencelow-rank structuresdiscrete density estimation
发现论文，激发创造
  • 可验证张量方法用于学习广义线性模型混合

    本文提出了通过张量分解方法学习广义线性模型的混合模型参数的方法，通过对输入进行特征转换以及使用得分函数张量和响应变量的交叉相关计算可以得到正确的参数估计，且其计算和样本复杂度是输入和潜在维度的低阶多项式。

    Dec, 2014

  • TERM 模型：张量环混合模型密度估计

    通过采用张量环分解减少排列候选数量、增强表达能力，结合自适应权重的混合模型，将其与集成学习相结合的新方法在概率密度估计和采样中显示出优越性。

    Dec, 2023

  • 广义张量分解的 ADMM-MM 算法

    该论文提出了一种面向一般线性观测模型中低秩张量逆问题的新统一优化算法，该算法支持多种低秩张量分解模型和基本损失函数，并提出了基于交替方向乘子法向和主化极小化方法的优化算法。通过该算法可以解决广泛的应用，并且可以轻松扩展到任何已建立的张量分解模型。

    Dec, 2023

  • 估计线性回归混合的频谱专家

    本文提出一种新的基于低秩线性回归和张量幂法的计算高效且具有保证一致性的鉴别性潜变量模型估计方法，该方法在混合线性回归模型中被验证其收敛性能优于局部优化 EM 算法。

    Jun, 2013

  • 使用张量分解和交替最小化求解多个随机线性方程混合问题

    本研究提出基于张量分解和交替最小化的算法可解决混合线性回归问题，具有多项式复杂度，可在线性维度下提供全局最优性结果。

    Aug, 2016

  • 二进制和计数数据的高效非参数张量分解

    提出了一种基于非参数高斯过程的 EFFICIENT NONPARAMETRIC TENSOR DECOMPOSITION（ENTED）方法，通过使用非参数高斯过程取代传统的多线性结构，并利用 PG 增强模型，建立了适用于二进制和计数分布的共轭模型，通过引入稀疏正交变分推理来提高计算效率。在多个真实世界的张量完整任务中对该模型进行评估，结果表明该模型在性能和计算优势方面取得了更好的表现。

    Jan, 2024

  • Kullback-Leibler 张量主成分不是 NP 困难的

    该研究研究了非负张量的非负秩一近似问题，并表明最小化广义 KL 散度的全局最优解可以高效地获得。研究者导出了 KL 主成分的一个封闭式表示，用于高阶的泛化 KL 近似，该问题首次被证明等价于多项式潜变量建模，并导出了类似于期望最大化算法的迭代算法，作者演示了如何利用推导结果在鸢尾花数据集上进行无监督学习，并获得比监督方法表现更好的结果。

    Nov, 2017

  • 广义张量估计的最优统计和计算框架

    该论文提出了一种灵活的通用低秩张量估计问题的框架，包括计算成像、基因组学和网络分析等应用中的许多重要实例，并通过投影梯度下降的统一方法来克服这些问题的非凸性，以适应底层低秩结构，并证明该算法在估计误差的收敛速度上达到极小值最优率。

    Feb, 2020

  • 张量分解遇见控制理论：学习线性动力系统的通用混合

    文章提出了一种新的基于张量分解的方法用于学习混合线性动态系统，在不需要分离条件的情况下，可以与 Bayes 最优分簇竞争，在具有挑战性的部分观测情况下工作。

    Jul, 2023

  • 学习潜变量模型的张量分解

    本文研究了一种高效的参数估计方法，可用于广泛的潜变量模型，特别是那些具有张量结构的模型，包括高斯混合模型、隐马尔可夫模型和潜在狄利克雷分配模型，通过对表示模型可观测矩阵的低阶矩（通常为二阶和三阶）的张量进行分解获得。方法为鲁棒性较强、可有效计算，并可应用于多个流行的潜变量模型。

    Oct, 2012