- Krylov 方法在低秩近似中(几乎)是最优的
本文通过矩阵向量乘积模型和多种 Schatten norm 下的 rank-1 低秩逼近问题,证明了 Krylov methods 几乎达到了谱(p=∞)、Frobenius(p=2)和核(p=1)LRA 的信息论最优矩阵向量乘积数量的上界 - 利用主子模型训练在边缘设备上进行的大型模型联邦学习
本文提出了适用于边缘计算设备的 Principal Sub-Model(PriSM)训练方法,该方法利用模型的低秩结构和核正交性,通过选择不同的主核子集来创建客户端的子模型,从而实现较小计算和通信需求的同时减少了设备之间的数据传输,这是一种 - CVPR重新思考卷积网络对物体计数的空间不变性
本文提出使用高斯卷积核来代替原来的卷积滤波器,以估计密度地图中的空间位置,以达到激励密度地图生成过程并克服注释噪声的目的。我们的研究为后续研究指明了新的方向,应该研究如何适当放松过分严格的基于像素级空间不变性的对象计数。我们在 MCNN,C - 图神经网络的最优传播学习
本文提出一种基于双层优化的方法,通过直接学习个性化 PageRank 传播矩阵以及下游半监督节点分类并同时进行学习,学习最佳的图结构,并探索低秩逼近模型以进一步降低时间复杂度。实证评估表明,所提出的模型在所有基线方法中具有更高的有效性和鲁棒 - CVPR基于低秩近似的新型轮廓描述方法:Eigencontours
本文提出了基于低秩逼近的新型轮廓描述符 —— 特征轮廓,首先构建包含训练集中所有对象边界的轮廓矩阵,然后通过最佳秩 - M 逼近将轮廓矩阵分解为特征轮廓,并用 M 个特征轮廓的线性组合来表示对象边界,结果表明,该算法比现有的描述符更有效地并 - ICLR在输入稀疏时间内学习一个潜在的单纯形
研究通过低秩逼近和选择落在小角度距离内的向量,从而避免了在每次迭代中读取整个矩阵的时间成本,从而实现了潜在的 $k$ 个顶点单纯形的简化学习问题。
- Hutch++:最优随机迹估计
研究矩阵的迹估计问题,提出一种通过矩阵向量乘法计算正半定矩阵的迹的新的随机算法 Hutch ++,其利用低秩近似步骤降低估计值的方差,证明其复杂度在所有矩阵向量查询算法中是最优的。
- 快速稳定的随机低秩矩阵逼近
该论文对一种适用于一般矩阵的 Nystr {"o} m 方法进行了研究,并表明它的近似质量接近其他竞争方法,在数值稳定性方面表现良好。文中阐述了该方法的计算成本,并演示了可以在更新和降低矩阵时使用该方法。
- 随机数值线性代数中的行列式点过程
本研究概述了随机数值线性代数 (Randomized Numerical Linear Algebra) 和行列式点过程 (Determinantal Point Processes) 两个看似不相关的数学领域之间新的深入而有益的联系,以及 - IJCAITRP: 针对深度神经网络的训练排序剪枝技术
本文提出了一种新方法 Trained Rank Pruning (TRP),将低秩近似和正则化融入到训练过程中,并在 CIFAR-10 和 ImageNet 数据集上得出了显著的性能提升。
- 高效深度神经网络的训练等级裁剪
文章提出了一种名为 TRP 的方法,该方法可以将低秩逼近和正则化融入神经网络模型的训练过程中,通过使用随机次梯度下降优化核范数来促进 TRP 中的低秩,从而消除低秩逼近后的微调,并在 CIFAR-10 和 ImageNet 上显着优于以前使 - 最近半正定规划可扩展性的调查及其在机器学习、控制和机器人领域的应用
本文介绍了解决半定规划在机器学习、控制和机器人领域中可扩展性问题的最近方法,包括利用问题结构(如稀疏性和对称性)、生成低秩近似解决方案、更可扩展算法、以及将可扩展性与保守性相妥协的方法,并提供相应文献入口和实例,最后列出了实现本文所讨论的方 - 利用神经网络参数化的协方差矩阵低秩加稀疏分解
该论文研究了将正半定矩阵分解为给定秩矩阵和稀疏矩阵之和的方法,并提出了使用深度神经网络参数化适当大小的矩形矩阵表示解的低秩部分的方法,该方法在投资组合优化中有应用。作者使用梯度下降算法优化神经网络参数,并证明了收敛速度多项式增长。
- 距离矩阵的最优低秩逼近
本文研究了距离矩阵的低秩近似算法及其样本复杂度,在实验中得到了验证。
- 关于学习超参数化神经网络的函数逼近视角
研究了使用梯度下降法在过度参数化的双层神经网络中训练,证明了在足够过度参数化的条件下,GD 方法可以近似地将振幅算子的幂应用于生成响应 / 标签的基础 / 目标函数 $f^*$,并且提供了使用低秩逼近来减少经验风险的线性速率的足够条件,介绍 - ICMLRaFM: 一种基于排名感知的分解机模型
提出一种名为 Rank-Aware FM 的模型,该模型使用不同排名的嵌入对成对交互进行采用,从而在具有显着变化频率的不同特征的实际数据集上实现更好的性能,提高了回归任务和分类任务的性能,同时增加了较少的计算负担,因此在工业应用中也具有吸引 - ICML使用低秩数据逼近的高维贝叶斯推断 LR-GLM
LR-GLM method based on low-rank approximation with Bayesian inference is proposed to improve efficiency of generalized l - NIPS高效深度神经网络的训练排名剪枝
本文提出了一种名为 TRP 的低秩逼近和正则化相结合的训练方法,用于在边缘设备上进行深度神经网络的图像分类任务,并在 CIFAR-10 和 ImageNet 数据集上进行了广泛评估,结果表明相比于之前的低秩逼近压缩方法取得了更好的性能。
- SLANG:用自然梯度进行贝叶斯深度学习的快速结构化协方差近似
本文提出了一种基于背向传播梯度的新型随机低秩近似自然梯度方法(SLANG),用于在大型深度模型中进行变分推断,结果表明该方法比平均场方法快且更准确地估计了不确定性,并且表现与最先进的方法相当。
- 距离矩阵的亚线性时间低秩逼近
本文研究了距离矩阵的低秩近似,证明了在任何底层距离度量下,均可以在亚线性时间内实现加性误差的低秩近似,并发展了一种基于投影 - 成本保持抽样的递归算法。同时,在一般情况下,相对误差逼近是不可能的,即使允许二标准解决方案。此外,如果 P =