张量环分解及其计算算法
提出一种称为张量环表示的新型张量分解的网络结构,该结构采用低阶核张量的循环多线性乘积,通过低秩近似的方法来有效地学习张量环表示,可以在计算上更有效地执行基本操作,并且通过与现有的张量列网络相比实验结果表明,该模型更具表达能力和一致性信息。
May, 2017
本文介绍了一种基本的张量分解模型:张量环分解,它能够通过一系列低维张量核的圆形多线性乘积来代表高维张量,并能够实现循环维度置换不变性,同时与 TT 分解具有相似的广泛表示能力。文章通过四种不同的算法对潜在核的优化进行了讨论,并探究了 TR 模型的数学性质。最后,在综合数据集上的实验验证了不同算法的性能。
Jun, 2016
我们提出了一种基于减少存储量直接张量环分解(RSDTR)的新型低秩 CNN 压缩方法,该方法具有更高的循环模排列灵活性,并以较大的参数和 FLOPS 压缩率为特点,同时保持压缩网络的良好分类准确性。与其他最先进的 CNN 压缩方法相比,对 CIFAR-10 和 ImageNet 数据集进行的实验证明了 RSDTR 的高效性。
May, 2024
本文提出了一种可扩展且具有鲁棒性的张量分解算法,能够处理大规模张量数据的缺失值和异常值。该算法通过自适应填充缺失值和在分解过程中识别异常值的新颖自加权最速下降方法,结合张量环模型,采用快速 Gram 矩阵计算 (FGMC) 方法和随机子张量草图策略大大降低了存储和计算复杂度。实验结果表明,在存在异常值时,该方法优于现有的张量分解方法,并且比现有的强健张量完成算法运行速度更快。
May, 2023
本文提出了一种基于交替最小二乘法的高效方法来将高维函数压缩成张量环格式,同时采用有效的采样方案获得 $O (d)$ 个重要样本来学习张量环,并提出了 ALS 的初始化方法以便快速收敛。 数值实验表明,相比于张量列车格式,所提出的张量环格式具有更少的参数,并且更好地保持了原始函数的结构。
Nov, 2017
本文研究基于随机算法的张量分解方法在 Tucker 表达式下的应用,提出并分析了 HOSVD 和 STHOSVD 的随机算法,并针对大规模数据集提出了适用于不同需求的改进方案。
May, 2019
本文提出了一种基于采样的、使用杠杆分数样本交替最小二乘法的张量环分解计算方法,其中利用张量环张量的特殊结构,可高效地评估杠杆分数并获得复杂度次线性的方法,该方法在合成数据和真实数据实验中与现有方法相比具有显著加速效果,同时保持良好的准确性,提供了一个快速特征提取的示例。
Oct, 2020
本文提出了一种新颖的张量完成方法,该方法通过利用张量环潜空间的低秩结构,将核范数正则化引入潜在 TR 因子,从而通过奇异值分解,同时获得最优秩的潜在 TR 因子和恢复的张量。实验结果表明,所提出的方法相对于现有的算法具有更好的表现和效率。
Sep, 2018
本研究论文旨在开发一种能够将张量表示为有限数量低秩张量之和的精确张量分解的数学框架,通过解决三个不同的问题来导出:i)非负自伴随张量算子的分解;ii)线性张量变换的分解;iii)一般张量的分解。
Sep, 2023