Aug, 2017

张量列车秩最小化：统计效率和可扩展算法

PDF
TL;DR本文提出了一种基于张量分解的方法，通过引入凸弛松弛的方法和随机化技术构建一种具有可扩展性的交替优化算法，用于高维张量的完成任务，实验结果表明了该方法的性能。
tensor train decompositionmachine learningconvex relaxationalternating optimization methodtensor completion
发现论文，激发创造
  • 张量网络分解下的张量 - 张量回归的计算与统计保证

    该论文研究了基于 tensor train (TT) 的张量回归模型的理论和算法方面。通过假设回归算子满足受限等距性质 (RIP)，分析了受限最小二乘优化问题的解的误差界限，并提出了两种优化算法：迭代硬阈值 (IHT) 算法和基于 Riemannian 梯度下降 (RGD) 算法的分解方法。在 RIP 成立的条件下，采用谱初始化可以实现适当的初始化，同时证明了 IHT 和 RGD 的线性收敛速度。

    Jun, 2024

  • 大数据分析和大规模优化问题的张量网络

    本文探讨了基本的张量网络模型和相关算法，尤其是使用新的数学和图形表示的张量列车（TT）分解。通过张量化和使用量子化张量列车网络实现数据的超级压缩，对大规模数据优化问题进行了分布式表示，并通过优化迭代和近似张量缩并的方式，应用小型矩阵和张量运算来解决一系列难以用经典数值方法解决的问题，例如广义特征值分解，主成分分析 / 奇异值分解和规范相关分析。

    Jul, 2014

  • 高效张量补全：低秩张量列车

    该论文提出了一种新的张量补全问题的公式，以张量列车 (TT) 秩的形式介绍了该公式，可以通过平衡的矩阵化计算有效地捕获张量的全局信息。两种算法被提出来解决相应的张量补全问题。

    Jan, 2016

  • 通过凸优化估计低秩张量

    提出三种方法用于从部分观察中估计多维数组（张量）的 Tucker 分解，这些方法都可以自动估计因子数（秩），并采用凸优化进行求解，其中采用的主要技术是迹范数正则化，还提出了简单的启发式方法以提高因子分解的可解释性。通过合成和真实数据集上的数值实验，证明了该方法比传统方法预测性能更准确、更快，更可靠。

    Oct, 2010

  • 基于张量列车 (TT) 模型交替最小化的张量完成

    本文提出了一种基于矩阵乘积状态和张量列车分解的张量完成算法，该算法通过交替矩阵（张量）对 MPS 表示进行计算，相对于其他最近提出的方法，在多个真实环境下性能更出色。

    Sep, 2016

  • 层次 Tucker 分解的黑盒逼近与优化

    我们开发了一种新的方法 HTBB 用于多维黑盒逼近和无梯度优化，它基于低秩分层 Tucker 分解，并采用 MaxVol 指标选择过程。通过对 14 个复杂模型问题的数值实验，证明了该方法在维度为 1000 的情况下的稳健性，相较于经典的无梯度优化方法、以及基于流行的张量缩放分解的逼近和优化方法，具有明显更准确的结果。

    Feb, 2024

  • 广义张量分解的 ADMM-MM 算法

    该论文提出了一种面向一般线性观测模型中低秩张量逆问题的新统一优化算法，该算法支持多种低秩张量分解模型和基本损失函数，并提出了基于交替方向乘子法向和主化极小化方法的优化算法。通过该算法可以解决广泛的应用，并且可以轻松扩展到任何已建立的张量分解模型。

    Dec, 2023

  • 张量网络的降维和大规模优化。第 2 部分：应用和未来展望

    本文介绍了张量网络及其运算的简介并侧重于介绍用于数据 / 参数的超压缩高阶表示的张量网络模型及其应用， 包括支持张量机、求广义特征值、深度神经网络等优化问题的张量分解方法，如张量列车和分层 Tuck 分解，并通过图形方法以及基于核张量的低秩张量近似来解释张量网络是如何能够在大量数据上执行分布式计算的。

    Aug, 2017

  • 通过核范数最小化进行张量完成

    本文探讨了在张量补全中使用矩阵补全技术的不足之处，并证明了直接最小化张量核范数的凸优化方法对于提高样本需求是有益的。我们通过开发一系列代数和概率技术来建立结果，例如张量核范数的次微分的表征以及张量鞅的浓度不等式，这可能对其他张量相关问题具有独立的兴趣和有用性。

    May, 2014

  • 基于低秩张量列的彩色图像和视频修复高效完成算法

    本文提出一种新颖的张量完成方法，基于张量列车 (TT) 秩，提出了新的优化公式和算法。其中，SiLRTC-TT 是通过在 TT 秩的基础上最小化核范数实现的，TMac-TT 是通过基于多线性矩阵分解来逼近张量 TT 秩。文章还提出了一种向高阶张量转换的方法以增强 SiLRTC-TT 和 TMac-TT 的有效性。仿真结果表明该方法在彩色图像和视频恢复方面具有明显优势。

    Jun, 2016