Apr, 2013

基于牛顿的针对 Kullback-Leibler 非负张量分解的优化

PDF
TL;DR本文探讨了基于 Kullback-Leibler divergence 函数的适当的标准交替块变量方法的正定多项式张量分解的有效技术，并提出了新的子问题解算器来利用结构并将优化问题重新表述为小的独立子问题，使用有界的 Newton 和拟牛顿方法。与其他代码比较，表明我们的算法具有更快的速度，能够获得高精度的结果，并迅速找到稀疏解。
tensor factorizationsnonnegative constraintspoisson processcanonical polyadic tensor factorizationkullback-leibler divergence function
发现论文，激发创造
  • 关于张量、稀疏性和非负因子分解

    本文研究了稀疏计数数据的多线性建模问题，提出了一个以泊松分布为假设的描述性张量分解模型和相应的算法和理论，并介绍了一种基于主导极小化方法的泊松张量分解算法，称为 CP-APR，并在几个数据集上的结果得到了验证。

    Dec, 2011

  • Kullback-Leibler 张量主成分不是 NP 困难的

    该研究研究了非负张量的非负秩一近似问题，并表明最小化广义 KL 散度的全局最优解可以高效地获得。研究者导出了 KL 主成分的一个封闭式表示，用于高阶的泛化 KL 近似，该问题首次被证明等价于多项式潜变量建模，并导出了类似于期望最大化算法的迭代算法，作者演示了如何利用推导结果在鸢尾花数据集上进行无监督学习，并获得比监督方法表现更好的结果。

    Nov, 2017

  • 分布式柔性非线性张量分解

    本文提出了一种分布式、灵活的非线性张量分解模型，通过可避免昂贵的计算以及提供高质量推理的上限，它能够克服传统张量分解模型中的限制，并展现出在 CTR 预测方面的巨大潜力。

    Apr, 2016

  • 非负张量的非负逼近

    研究对一个非负张量进行分解为非负向量的最小外积和对应的简化的朴素贝叶斯概率模型，并证明该问题的逼近问题，无论采用哪种规范，甚至是布雷格曼分歧，都将始终具有最优解。

    Mar, 2009

  • 大规模计数数据的可扩展贝叶斯非负张量分解

    本文提出了用于计数张量数据的贝叶斯非负张量分解模型，并开发了可用于处理海量张量的可扩展推理算法（批处理和在线推理），以及一系列实际应用。

    Aug, 2015

  • 张量数据表示的稳健流形非负 Tucker 分解

    本文提出了三种鲁棒流形 Nonnegative Tucker Factorization 算法来处理异常值，其中包括半二次优化算法、基于 correntropy induced metric、Huber function 和 Cauchy function 的加权 NTF 以及流形正则化。我们在各种真实图像数据库上将所提出的方法与代表性 NTF 研究进行了比较，实验结果表明了所提出方法的高效性。

    Nov, 2022

  • 稀疏矩阵分解的紧凸松弛

    提出了一种基于新原子范数的凸形式，用于稀疏矩阵分解问题，其中假设因子的非零元素个数是固定和已知的，可应用于稀疏 PCA，子空间聚类和低秩稀疏双线性回归等。使用主动集算法解决了该凸问题。

    Jul, 2014

  • 张量分解、深度学习及其超越中的全局最优性

    该研究通过对矩阵分解、张量分解和深度神经网络训练等问题的非凸优化问题的充分条件分析，提出了一种通用框架，能够在任意初始的情况下使用纯局部下降算法找到全局最小值，为深度神经网络的优化提供了理论支持和指导。

    Jun, 2015

  • SWIFT: 稀疏非负张量的可扩展瓦石均值分解

    本文提出了一种新的张量分解方法 SWIFT，将张量分解问题转换成了一个最优输运问题，并利用 Wasserstein 距离度量输入张量和重构张量的距离，与其他 CP 算法具有可伸缩性，获得了相对于基线方法 9.65% 和 11.31% 的性能提升，在噪声条件下甚至相对于最佳竞争对手获得了 15% 和 17% 的性能提升。

    Oct, 2020

  • 联合张量分解与异常压片抑制及其应用

    提出了一种交替优化框架来解决在异常杂质的情况下进行低秩张量分解的问题，可以很容易地加入正则化和约束，以利用潜在的加载因子的先验信息。

    Jul, 2015