高效的张量回归决策树
矩阵的高维拓展——张量(tensor)已在信号处理、数据挖掘和机器学习等领域得到广泛应用,本文旨在为那些想要了解和深入研究张量的研究人员和从业人员提供起点,它包括了基础与应用,如张量秩和分解、基本的张量分解模型及其关系和性质、性能分析、以及一系列的应用。
Jul, 2016
本文介绍了一种利用子采样张量投影梯度解决海量多维数据的张量回归方法,该方法基于投影梯度法和快速张量幂迭代,利用随机草图进一步加速,理论分析表明,算法能够在固定的迭代次数内收敛到正确的解,内存需求随问题的规模线性增长,并在多线性多任务学习和时空应用上表现出优越的实践性能。
Jul, 2016
本文介绍了张量网络及其运算的简介并侧重于介绍用于数据/参数的超压缩高阶表示的张量网络模型及其应用, 包括支持张量机、求广义特征值、深度神经网络等优化问题的张量分解方法,如张量列车和分层 Tuck 分解,并通过图形方法以及基于核张量的低秩张量近似来解释张量网络是如何能够在大量数据上执行分布式计算的。
Aug, 2017
本文将全面介绍张量(Tensors)的概念和分解方法,并探讨它们在机器学习中的应用,特别是在无监督学习和多关系数据分析等领域的优越性,同时结合实例研究了张量估计混合模型的基本方法,并提供了相关软件类库的参考。
Nov, 2017
本篇论文提出了一种基于稀疏且低秩张量回归模型的方法,其中系数张量的每个单元秩张量都被假定为是稀疏的,通过分治策略,可以简化任务,并使用分阶段的估计过程来高效地跟踪其整个解决方案路径。在多种真实和合成实例中展示了我们方法的卓越性能。
Nov, 2018
本文提出了一种在线低秩张量恢复的概括性框架,包括线性和广义线性模型,特别地,在线张量补全和在线二进制张量学习的应用中,通过在线黎曼梯度下降算法实现了线性收敛并在所有应用程序中恢复了低秩分量,还在在线张量回归方面进行了悔恨分析,通过数值结果验证了理论结论。
Jun, 2023
回归分析是数据分析和机器学习领域的关键研究领域之一,它致力于探索变量之间的依赖关系,通常使用向量进行表示。高维数据的出现带来了传统数据表示方法的挑战,而张量作为向量的高维扩展,被认为是高维数据的自然表示。本书对基于张量的回归模型及其应用进行了系统研究和分析,涵盖了已有的方法和理论特性,读者可以了解如何使用这些方法解决多维数据的回归任务以及可用的数据集和软件资源。
Aug, 2023
TENSORCODEC是一种用于一般张量的有损压缩算法,通过将神经张量列车分解与Tensor-Train分解相结合,将输入张量折叠成更高阶的张量,重新排序输入张量的模索以揭示可供NTTD利用的模式,实验结果表明TENSORCODEC在压缩效率、重建准确性和可扩展性方面具有优势。
Sep, 2023
通过提取和总结有用的预测信息(由“因子张量”表示)并利用张量分解模型将其输入到时间卷积神经网络中,本研究提出了一种因子增强的张量对张量神经网络(FATTNN)。该方法能够处理复杂数据结构之间的非线性关系,并在预测准确性和计算成本方面优于传统的统计模型和常规的深度学习方法。通过利用张量分解模型,提出的方法在提高预测准确性的同时,大幅度减少了数据维度从而加快了计算速度。通过模拟研究和对三个公共数据集的实际应用,验证了提出方法的实证性能,数值结果表明,与基准方法相比,提出的算法在预测准确性方面取得了显著的增加,并且计算时间显著减少。
May, 2024
该论文研究了基于 tensor train (TT) 的张量回归模型的理论和算法方面。通过假设回归算子满足受限等距性质 (RIP),分析了受限最小二乘优化问题的解的误差界限,并提出了两种优化算法:迭代硬阈值 (IHT) 算法和基于 Riemannian 梯度下降 (RGD) 算法的分解方法。在 RIP 成立的条件下,采用谱初始化可以实现适当的初始化,同时证明了 IHT 和 RGD 的线性收敛速度。
Jun, 2024