- 快速融合低秩和核注意力
FLuRKA 是一种新型转换器,结合了低秩和核方法的优势,能够显著提高模型性能并匹配低秩和核方法在 GLUE 上的精度表现,同时在固定时间预训练方面也比全自注意力模型表现更好。
- 多视角 MERA 子空间聚类
介绍了一种低秩多尺度纠缠重整化状态 (MERA) 基于 MSC 的算法 (MERA-MSC),并将其扩展为可扩展的低秩 MERA 的基础上发展出 MVC (sMERA-MVC) 算法,并在五个数据集上对比实验,优于其他基于 MSC 方法。
- 基于低秩和稀疏表示的快速高光谱图像去噪和修复
该文介绍了两种非常快和竞争性强的高光谱图像复原算法:FastHyDe 和 FastHyIn,这两种算法充分利用了极度紧凑和稀疏的 HSI 表示,与最先进的方法相比,具有更低的计算复杂度。
- 基于杠杆的低秩张量分解实用采样
本文研究稀疏张量的低秩正交多项式分解,提出了使用杠杆得分来选择子集行数的草图方法,并提供了一个实际的解决方案,以提高高杠杆得分行的采样和理论界限。
- AAAISPAN:一种随机投影近似牛顿法
本文提出了一种快速的二阶优化算法 SPAN, 通过低秩逼近和随机海森向量相乘的方式来计算黑塞矩阵的逆,实验结果证明 SPAN 在多个基准数据集上优于现有的一阶和二阶优化算法,同时提供了每次迭代的复杂度、逼近误差和收敛速度的理论分析,表明 S - IJCAI可分解网络:神经网络可扩展低秩压缩
本文介绍了一种名为 Decomposable-Net 的深度神经网络压缩方法,通过奇异值分解和调整矩阵秩,允许灵活改变模型大小,而无需进行微调,能够在多种模型大小下提高模型性能。
- 混合方法:带对角线约束半定规划的低秩坐标下降算法
本文提出了一种低秩坐标下降方法,用于结构半定规划,该方法是极其简单易于实现的,没有自由参数,并且通常比现有技术的优化性能提高一个数量级或更好的性能。我们证明该算法是严格下降的,收敛到一个临界点,并且对于足够秩的情况,所有非最优临界点都是不稳 - 关于精确低秩张量完成的多项式时间方法
研究了张量恢复中的样本量要求,提出梯度下降算法结合谱方法来重建低秩高阶张量,事实证明我们的方法在保证高概率的情况下只需要 O (r^7/2*d^3/2*log^7/2 (d)+r^7*d*log^6 (d)) 个样本,且可以很好地处理低秩多 - 低秩正则化的卷积神经网络
这篇论文提出了一种用于加速 CNNs 的基于张量分解的技术,并且发现使用降秩限制的 CNNs 除了速度更快之外,有时候性能也表现更好,在进行了对比测试后,尤其是对于 VGG-16 模型,在性能无损的同时,前向传播时间可以缩短一半,从而证明低 - 通过低秩高斯混合模型进行压缩感知
本文提出了一种利用高斯混合模型进行压缩感知反演的算法,通过在局部图像块上施加低秩 GMM,迭代更新 GMM 及测量数据的投影矩阵,同时提出了低秩 PLE 算法,在模拟数据和真实数据上取得了较好的重建效果。
- 张量完成的平滑 PARAFAC 分解
本文提出了一种名为 SPC 的 “平滑 PARAFAC 张量完整化” 的方法,该方法为视觉数据快速提供了高效的算法,其采用总变分和二次变分策略来施加平滑性约束,并在模型学习中调用相应的算法,经广泛实证评估,较其他具有代表性的张量完整化方法具 - NIPS图上矩阵补全
本文提出了一种基于社区检测和流形学习的矩阵完成模型,通过约束矩阵在图上的平滑性来隐含地强制行和列之间的相似性,得到了比标准模型更好的矩阵恢复效果。
- 稳定主成分追踪的变分方法
本文提出了一种稳定主成分追踪的新凸优化形式以将噪声信号分解为低秩和稀疏表示,首先通过凸变分框架发展了一种数值解,并通过拟牛顿法加速解法,实验结果表明该方法在可扩展性和实际参数选择方面优于传统的稳定主成分追踪形式。
- 具有应用价值的分层矩阵快速对称因式分解
本文介绍了一种快速计算对称正定分层矩阵的对称因子分解的算法,基于低秩更新和递归分治策略,可将计算成本降至 O (nlog^2n) 和 O (nlogn),适用于处理概率和统计问题、径向基函数插值和流体力学中的算法等。
- 基于结构化瑟曲范数正则化的凸张量分解
本文探讨了用于张量分解的结构化 Schatten 范数(包括 “重叠” 和 “潜在” 两个最近提出的范数),将张量分解与结构稀疏性的更广泛文献联系起来,并从经验上发现 'Schatten' 的结构分析范数性能较好的 “潜在” 方法进行数学分 - ICML同时稀疏和低秩矩阵的估计
本文介绍了一种罚矩阵估计过程,旨在同时具有稀疏和低秩的解决方案。我们引入了一个凸混合惩罚,同时涉及 l1 范数和迹范数。我们在链接预测问题中限制了广义误差,并开发了近端下降策略以有效解决优化问题,并在合成和真实数据集上评估了性能。
- ICML剩余分量分析:在线性高斯模型中推广 PCA 以获得更灵活的推断能力
本文提出了一种新的基于残差方差的概率主成分分析 (PPCA) 模型 —— 残差成分分析 (RCA),并探讨了由此框架产生的新算法,其中包括将高斯密度的协方差分解为低秩与稀疏逆两个部分的算法。作者在蛋白质信号网络恢复,基因表达时间序列数据集分 - 通过迭代重新加权最小二乘法恢复低秩矩阵
使用迭代重加权最小二乘算法,同时结合核范数和近似低秩解的最小化,有效地从少量线性测量中恢复矩阵,并通过实验证明在矩阵完成问题中具有竞争力。
- 噪声输入的矩阵补全
研究低秩矩阵重构问题,基于谱技术和流形优化相结合的低复杂度算法 OptSpace,证明其具有在多种情况下都优秀的性能保证。