加强稀疏低秩张量回归

NIPSNov, 2018

Boosted Sparse and Low-Rank Tensor Regression

Lifang He, Kun Chen, Wanwan Xu, Jiayu Zhou, Fei Wang

TL;DR本篇论文提出了一种基于稀疏且低秩张量回归模型的方法，其中系数张量的每个单元秩张量都被假定为是稀疏的，通过分治策略，可以简化任务，并使用分阶段的估计过程来高效地跟踪其整个解决方案路径。在多种真实和合成实例中展示了我们方法的卓越性能。

Abstract

We propose a sparse and low-rank tensor regression model to relate a univariate outcome to a feature tensor, in which each unit-rank tensor from the cp decomposition of the coefficient tensor is assumed to be spa

sparse tensor regression cp decomposition unit-rank tensor divide-and-conquer strategy stagewise estimation

发现论文，激发创造

基于贝叶斯鲁棒性的不完整多维数据张量分解

本文提出了一种基于贝叶斯建模和多线性交互作用的张量分解方法，可以在存在缺失数据和离群值的情况下进行鲁棒分析，实现对丢失数据的稳健预测分布。

Oct, 2014

基于三次草图的稀疏低秩张量估计

该研究提出一种基于稀疏张量分解和阈值梯度下降的二阶段非凸实现框架，可从立方挖掘中进行稀疏和低秩张量估计，在无噪音情况下确保准确恢复，在带噪音情况下高概率稳定恢复，并导出了新的高阶浓度不等式对高阶交互追求在高维线性回归中的潜在应用进行了张量表述。

Jan, 2018

张量回归遇见高斯过程

本文探讨了低秩张量回归模型和高斯过程之间的有趣联系，证明了低秩张量回归模型本质上是学习高斯过程中的多线性核，并将低秩假设转化为约束贝叶斯推断问题。我们证明了神谕不等式，并为等效高斯过程模型推导了平均情况学习曲线。我们的研究发现低秩张量回归虽然在经验上非常成功，但高度依赖协方差函数的特征值和变量相关性。

Oct, 2017

广义线性模型的结构化低秩张量

一项关于采用张量结构在回归问题中进行系数张量估计的新颖低秩张量模型 (LSR) 的研究，提出了参数估计的块坐标下降算法，并得出了一种在 LSR 张量 GLM 问题中用于估计系数张量的极小极大下界，表明其样本复杂度可能远低于矢量化 GLM。

Aug, 2023

低秩张量回归的近似最优素描

本文介绍了针对最小二乘回归问题的 CP 和 Tucker 分解模型，以及基于稀疏随机投影的数据降维技术，旨在减小模型参数数量和计算量。作者通过数值模拟得到了实验结果，证实了其理论的有效性。

Sep, 2017

关于张量、稀疏性和非负因子分解

本文研究了稀疏计数数据的多线性建模问题，提出了一个以泊松分布为假设的描述性张量分解模型和相应的算法和理论，并介绍了一种基于主导极小化方法的泊松张量分解算法，称为 CP-APR，并在几个数据集上的结果得到了验证。

Dec, 2011

低多线性秩张量逼近的随机矩阵方法

本文研究了在计算阈值附近的一般尖峰张量模型中，对种植的低秩信号进行估计的全面理解。通过使用大型随机矩阵理论中的标准工具，我们表征了数据张量的展开的大维谱特性，并展示了影响信号主要方向可检测性的相关信噪比。这些结果允许准确预测截断多线性奇异值分解（MLSVD）在非平凡区域中的重构性能。这对于更高阶正交迭代（HOOI）方案具有重要作用，其收敛到最佳低多线性秩近似完全取决于初始化。我们给出了 HOOI 收敛的充分条件，并表明在大维极限中收敛之前的迭代次数趋于 1。

Feb, 2024

广义张量估计的最优统计和计算框架

该论文提出了一种灵活的通用低秩张量估计问题的框架，包括计算成像、基因组学和网络分析等应用中的许多重要实例，并通过投影梯度下降的统一方法来克服这些问题的非凸性，以适应底层低秩结构，并证明该算法在估计误差的收敛速度上达到极小值最优率。

Feb, 2020

模型发现的可扩展稀疏回归：洞察力的快速通道

通过稀疏回归算法，特别是利用迭代奇异值分解的穷尽搜索，提出了一种通用的快速稀疏回归算法（SPRINT），用于从数据中直接学习具备定性简单性和人类可解释性的数学描述，该算法在大型符号库上具有合理的计算成本。

May, 2024

通过凸优化估计低秩张量

提出三种方法用于从部分观察中估计多维数组（张量）的 Tucker 分解，这些方法都可以自动估计因子数（秩），并采用凸优化进行求解，其中采用的主要技术是迹范数正则化，还提出了简单的启发式方法以提高因子分解的可解释性。通过合成和真实数据集上的数值实验，证明了该方法比传统方法预测性能更准确、更快，更可靠。

Oct, 2010