ICMLJul, 2016

多元数据学习：简单高效的张量回归

PDF
TL;DR本文介绍了一种利用子采样张量投影梯度解决海量多维数据的张量回归方法，该方法基于投影梯度法和快速张量幂迭代，利用随机草图进一步加速，理论分析表明，算法能够在固定的迭代次数内收敛到正确的解，内存需求随问题的规模线性增长，并在多线性多任务学习和时空应用上表现出优越的实践性能。
tensor regressionmultiway datasubsampled tensor projected gradientprojected gradient methodrandomized sketching
发现论文，激发创造
  • 多线性张量回归对于纵向关系数据的应用

    本文开发了一种类型的回归模型来估计纵向和多元关系数据中成员之间的关系，该模型基于多线性张量回归模型，一种特殊情况是张量自回归模型，可以表示关系和网络数据中经常出现的模式，如互惠和传递性。

    Nov, 2014

  • 用多尺度张量网络学习数据的相关特征

    本文介绍了受物理中粗粒化方法启发的相似算法如何适用于数据，并基于分层树张量网络，在输入维度和数据集大小的线性比例上进行缩放，使用无监督算法计算大多数层，然后仅针对 MNIST 和 fashion-MNIST 数据集的顶层进行监督分类的优化，得到了非常好的结果，并讨论了将监督权重的先验猜测与数据的无监督表示相混合，从而得到数量较少的特征，但依然能够获得良好性能。

    Dec, 2017

  • 张量回归

    回归分析是数据分析和机器学习领域的关键研究领域之一，它致力于探索变量之间的依赖关系，通常使用向量进行表示。高维数据的出现带来了传统数据表示方法的挑战，而张量作为向量的高维扩展，被认为是高维数据的自然表示。本书对基于张量的回归模型及其应用进行了系统研究和分析，涵盖了已有的方法和理论特性，读者可以了解如何使用这些方法解决多维数据的回归任务以及可用的数据集和软件资源。

    Aug, 2023

  • 张量回归及其在神经影像数据分析中的应用

    针对医学图像中的高维复杂张量变量，提出了一种基于张量回归模型的新方法，该方法在降低维度和有效估计方面表现出色，并在合成和真实 MRI 图像数据上进行了有效性展示。

    Mar, 2012

  • 张量回归遇见高斯过程

    本文探讨了低秩张量回归模型和高斯过程之间的有趣联系，证明了低秩张量回归模型本质上是学习高斯过程中的多线性核，并将低秩假设转化为约束贝叶斯推断问题。我们证明了神谕不等式，并为等效高斯过程模型推导了平均情况学习曲线。我们的研究发现低秩张量回归虽然在经验上非常成功，但高度依赖协方差函数的特征值和变量相关性。

    Oct, 2017

  • 加强稀疏低秩张量回归

    本篇论文提出了一种基于稀疏且低秩张量回归模型的方法，其中系数张量的每个单元秩张量都被假定为是稀疏的，通过分治策略，可以简化任务，并使用分阶段的估计过程来高效地跟踪其整个解决方案路径。在多种真实和合成实例中展示了我们方法的卓越性能。

    Nov, 2018

  • 使用多维投影稳定、健壮且超快速重构张量

    该研究提出了一种基于低秩结构的多维压缩感知重构公式，证明了在只采用两种选择的测量方式下可以恢复目标数据张量，讨论了阈值参数对误差控制的影响，并给出了一种快速计算的非迭代算法，实验证明该方法的性能稳定且鲁棒性强。

    May, 2014

  • 分类与回归的多尺度张量网络架构

    通过对数据进行一系列的小波变换，提出一种使用张量网络进行监督学习的算法，其中使用了矩阵乘积状态来处理粗粒化的数据，并使用基于密度矩阵重整化群算法的自适应算法来训练 MPS。

    Jan, 2020

  • 通过变量投影实现最优矩阵模仿张量代数

    使用矩阵拟态张量框架实现多线性数据分析优化的同时学习最佳线性映射和相应张量表示，通过变量投影捕捉变换和表示之间的耦合关系，并通过黎曼优化学习正交变换以保持线性映射的可逆性。

    Jun, 2024

  • 渐变投影记忆用于连续学习

    提出一种新颖的方法，通过奇异值分解来获取梯度子空间，以进行正交梯度下降，从而减少深度神经网络在学习新任务时过度调整权重而忘记旧任务的现象。

    Mar, 2021