减去最佳秩 1 近似可能会增加张量秩
本文讨论了针对高于三阶的张量的最优低秩逼近定理。我们提出了使用弱解来克服低秩逼近问题的不适定性,并从代数几何的角度将我们的工作与张量的现有研究联系起来。
Jul, 2006
本研究论文旨在开发一种能够将张量表示为有限数量低秩张量之和的精确张量分解的数学框架,通过解决三个不同的问题来导出:i)非负自伴随张量算子的分解;ii)线性张量变换的分解;iii)一般张量的分解。
Sep, 2023
该研究证明了一种名为 “分裂定理” 的数学定理,它可在张量分解的过程中降低 Kruskal 定理中的 k 秩条件并且使得该过程对于张量的唯一分解的要求更加宽松,从而实现了对于低于某个阈值的 k 秩的张量的唯一性的证明。
Mar, 2021
通过平滑分析模型,本文提出了一种针对高度过完备情况(秩多项式于该张量维度)的张量分解的有效算法,且该算法具有鲁棒性,即使输入存在逆多项式误差,其表现依然可靠。该算法的线性独立性结果为我们在学习过程中应用张量方法提供了方便,为多视图模型和轴向高斯混合等学习问题的研究提供了更多的组件维度。
Nov, 2013
文章表明,即使存在扰动,使用连续的秩一近似方法仍然可以强有力地恢复下层张量的对称规范分解,当扰动误差足够小时,近似误差不会随迭代次数累积,并且提供了数值结果来支持该理论发现。
May, 2017
通过对两个 m 维变量的光滑函数进行采样生成的矩阵的低秩逼近是本文关注的重点。我们否定了先前文献中对一个特定类别的解析函数所提出的论点,即这些矩阵可以独立于 m 具有准确的逐个元素的秩逼近。我们在理论上解释了支持该论点的数值结果,并描述了三个更窄的函数类别,其中 n×n 由函数生成的矩阵可以在与维度 m 无关的情况下以 O (log (n)ε^(-2) polylog (ε^(-1))) 的逐个元素误差逼近。我们还将我们的论点扩展到了由 m 维变量的多线性积生成的张量的低秩张量列逼近。我们在 Transformer 神经网络的注意力低秩逼近的背景下讨论了我们的结果。
Jul, 2024
提出三种方法用于从部分观察中估计多维数组(张量)的 Tucker 分解,这些方法都可以自动估计因子数(秩),并采用凸优化进行求解,其中采用的主要技术是迹范数正则化,还提出了简单的启发式方法以提高因子分解的可解释性。通过合成和真实数据集上的数值实验,证明了该方法比传统方法预测性能更准确、更快,更可靠。
Oct, 2010
本文提出了一种新的张量范数,同时利用低秩先验和秩信息,包括一系列张量管秩的代理函数,可在张量数据中更好地利用低秩,通过使用样本技巧计算更小张量的 t-SVD 而不是原始张量来计算提出的双低秩约束的张量范数。随后,优化算法的每个迭代的计算成本从标准方法的 O (n^4) 降低到 O (n^3 log n + kn^3),其中 k 为真实张量秩的估计值,远小于 n。本方法在合成和现实数据上得到了评估,并表现出优于现有 STOA 张量完成方法的性能和效率。
May, 2023
使用 sum-of-squares 层次结构的思想,我们提供了第一个几乎多项式时间复杂度的算法,可以在分解随机 3 阶张量时,将秩提高到 $n^{3/2} / extrm {polylog} n$。我们还提出了一种检验低秩张量的 injective norm 的多项式时间复杂度算法,并证明了这个算法的正确性。
Apr, 2015