Apr, 2024

基于 Kronecker 积分解的矩阵 - 值数据回归

PDF
TL;DR我们提出了一种名为 KRO-PRO-FAC 的估计算法，用于高维情况下的矩阵变量回归问题。通过利用 Kronecker 乘积分解和重新排列操作，该算法在计算效率上具备优势，并且可以在存在独立的次高斯随机向量的情况下建立估计参数的扰动界限。数值研究表明，我们的方法在估计误差和预测准确性方面具有竞争力。
matrix-variate regressionhigh dimensional regimekro-pro-fac algorithmestimation algorithmperturbation bounds
发现论文，激发创造
  • Kronecker 乘积回归和低秩逼近的最优素描

    本研究旨在提出一种高效的 Kronecker 乘积回归算法，该算法可以用于矩阵逼近和低秩逼近，并且小于 2 的 p 值具有更好的运行时间，此外，还提出了一种用于所有成对差异的回归问题的算法。

    Sep, 2019

  • 在克罗内克分解的特征基上进行快速近似自然梯度下降

    本研究提出了一种基于 Kronecker 分解的特殊的对角方差近似算法，可以提高多层神经网络的优化速度。

    Jun, 2018

  • 高维回归分析中的因子模型和变量选择

    本文提出了一种因子方法来同时考虑模型选择和功能回归的视角，通过将预测向量分解为反映解释变量的共同因素和特定变异性的两个不相关随机分量，以包括主成分作为额外的解释变量在增广回归模型中，维度高于样本大小的线性回归问题中传统假设的稀疏向量参数是具有限制性的，模型选择程序可以用于估计增广模型的参数，并得出其理论性质和有限样本表现。

    Feb, 2012

  • 贝叶斯最优矩阵分解中的相变和样本复杂度

    使用统计力学工具分析了矩阵分解问题的可实现性和计算可处理性，在贝叶斯最优推断设置下计算任意计算时间内可能实现的最小均方误差和有效近似迭代推理算法可以达到的误差。

    Feb, 2014

  • 列子集选择、矩阵分解和特征值优化

    提出了一种基于随机列抽样的多项式时间算法，用于选择具有良好谱特性的矩阵子集，具有较高的计算效率和实用价值，并结合 Grothendieck 因子分解构造了一种新的近似算法，以计算矩阵的（无穷大，1）范数。

    Jun, 2008

  • 通过非凸矩阵分解高效可靠地找到低秩解

    本研究提出了一种基于矩阵分解的优化方法 —— 双因式梯度下降算法（BFGD），在一定条件下可以实现局部次线性收敛以及全局线性收敛，为实现矩阵分解优化问题提供了一种有效的解决思路。

    Jun, 2016

  • 核随机矩阵的光谱

    在高维统计推断中，通过分析核随机矩阵的谱，发现在某些模型情况下，非线性主成分分析的问题本质上是线性问题，这与现有的一些启发式方法不符。同时，该研究还凸显了随机矩阵理论中广泛研究的某些奇异性，并对其在实际高维数据建模工具中的相关性提出了一些问题。

    Jan, 2010

  • 通过矩阵分解实现张量分解

    本研究提出了一种新的 CP 张量分解方法，使用了随机投影算法降低了问题难度并在模拟和真实数据集上得到了更好的表现。

    Jan, 2015

  • 用 Kronecker 分解的近似曲率优化神经网络

    提出一种名为 K-FAC 的方法来近似神经网络中的自然梯度下降，该方法基于一种高效的逆近似方法来近似神经网络的 Fisher 信息矩阵，它既不是对角线矩阵也不是低秩矩阵，与先前提出的近似自然梯度 / 牛顿方法相比，K-FAC 在高度随机的优化方案中的表现非常好。

    Mar, 2015

  • 卷积层 Kronecker 分解近似 Fisher 矩阵

    本文提出了基于结构化概率模型的 KFC 来近似求解卷积网络的 Fisher 矩阵，采用 Kronecker deomposition 来使得每个块都是小矩阵，从而实现更快的求逆和更高效的训练。实验表明，KFC 能够比 SGD 更快的训练卷积网络，具有在分布式环境中应用的潜力。

    Feb, 2016