Jun, 2023

广义低秩更新：低秩训练数据修改的模型参数界限

PDF
TL;DR本研究提出了一种称作广义低秩更新 (GLRU) 的方法，它可以扩展线性估计器的低秩更新框架，并在一定的计算复杂度下提供有关更新解的信息。该方法在交叉验证和特征选择上的效率比其他基线方法更高。
incremental machine learningmodel update frameworklow-rank updategeneralized low-rank updatecomputational complexity
发现论文，激发创造
  • 使用低秩数据逼近的高维贝叶斯推断 LR-GLM

    LR-GLM method based on low-rank approximation with Bayesian inference is proposed to improve efficiency of generalized linear models with large number of covariates, and the experiment results validate the effectiveness of LR-GLM on large-scale datasets.

    May, 2019

  • InRank: 增量低秩学习

    该研究提出了渐进式低秩学习技术，通过一个新的训练算法 InRank 来改进神经网络的训练，使得神经网络参数化后低秩化，以此提高计算效率并在 WikiText-103 上训练 GPT-Medium 模型时分别实现了 20% 的减少训练时间和 37% 的减少内存使用，同时保持了与全秩情况下相似的预测表现。

    Jun, 2023

  • 最大边际自由度的上界

    这篇文章研究了核岭回归中的低秩逼近和替代方法，通过引入降维算法和核函数的正则性，探讨了降维逼近的有效维度与正则化参数的增长关系，并证明了对于合适的核函数，这种增长是渐近对数的，从而使得低秩逼近成为纽斯特伦方法。

    Feb, 2024

  • 低秩核矩阵近似的尖锐分析

    本文研究了在正定核框架下的监督学习问题，提出了基于随机矩阵列采样的核矩阵低秩近似方法，此方法可以在 sub-quadratic 的时间复杂度内有效解决核矩阵计算问题，同时保持预测性能不变。

    Aug, 2012

  • 广义广义线性模型：凸估计和在线界限

    提出一个计算新框架以估算广义广义线性模型 (GGLM) 中的参数，该模型扩展了流行的广义线性模型 (GLM) 以解释时空数据中的观测依赖性。该方法使用单调算子为基础的变分不等式方法来克服参数估计中的非凸性并提供参数恢复的保证，适用于 GLM 和 GGLM，重点关注时空模型，并使用数值模拟和真实数据实例演示算法的性能。

    Apr, 2023

  • 高维广义线性模型中的鲁棒估计

    该研究介绍了一种基于变换的确定性鲁棒初始估计方法及其对应的迭代加权最小二乘算法，用于解决存在异常值时基于最大似然估计的广义线性模型中初始估计不准确的问题。

    Sep, 2017

  • 非凸低秩矩阵估计的统一计算与统计框架

    提出了一种基于梯度下降算法的非凸优化的低秩矩阵估计的统一框架，其通用性很强，可应用于噪声和无噪声观测，算法能够线性收敛到未知低秩矩阵的最小最优统计误差，同时也能够以线性速率收敛到未知低秩矩阵，并以最优样本复杂度实现精确恢复。

    Oct, 2016

  • 关于贪心低秩优化的近似保证

    本文提供了一种新的矩阵估算近似保证方法，其基于约束强凸性和平滑性的标准假设。同时，本文揭示了低秩估算和组合优化之间的新联系，并针对两个重要的现实问题提供了贪心估计与基准估计间的经验比较。

    Mar, 2017

  • 联邦学习中的模型更新回收：梯度子空间是否低秩？

    本文介绍了一种称为 “回顾梯度乘法” 的算法，该算法利用中央模型训练中的梯度空间低秩特性，在联邦学习的模型更新周期之间启用梯度回收，将大参数的传输减少到单个标量进行聚合，进而减少了通信开销并提高了模型性能。实验结果表明，“回顾梯度乘法” 在几个数据集和深度学习模型上可以比传统的联邦学习获得更好的通信开销。

    Feb, 2022

  • 通过保证低秩矩阵估计对大数据的结构进行利用

    低秩建模在信号处理和机器学习中扮演着关键的角色，本文综述了利用凸和非凸方法对低秩矩阵估计进行计算上高效可证的方法，其中包括对低维子空间和流形的适当利用及其对计算和存储成本的显著降低。

    Feb, 2018