该论文介绍了一种算法,旨在通过将相应矩阵近似因式分解为少量稀疏因子,降低应用高维线性算子的复杂度,该方法依赖于近期非凸优化的进展,首先进行详细的解释和分析,然后在字典学习图像去噪和逆问题中展示实验效果。
Jun, 2015
本文提出了一种基于自监管训练的图神经网络的数据驱动方法,用于加速科学计算和优化中遇到的大规模线性方程组求解,并且通过替换传统的手工制备预处理器,在收敛速度和计算效率方面实现了显著的提速。在我们的方法的核心是一种受稀疏矩阵理论启发的新型消息传递块。 我们评估了我们提出的方法在科学计算中产生的合成和真实问题上,结果表明 NeuralIF 在各种指标上都实现了竞争性的性能。
May, 2023
该论文提出了一种新的因子分解模型,它将低秩矩阵和线性子空间约束分离开来,从而使得优化问题在 Riemannian spectrahedron 流形上得以求解。实验证明,该方法在标准 / 鲁棒 / 非负矩阵补全,Hankel 矩阵学习和多任务学习等问题上具有较高的效率。
Apr, 2017
提出一种构建稀疏估计器的方法,用于高维背景下的逆协方差(浓度)矩阵,使用罚函数正态似然方法强制使用 Lasso 型惩罚,并在数据维数 $p$ 和样本量 $n$ 随着增长收敛速率之间建立 Frobenius 范数。同时对真实浓度矩阵进行稀疏度量,提出一种基于相关性的方法,在操作规范下具有更好的收敛速率,推出一种快速迭代算法用于计算估计值,利用常用的 Cholesky 分解反演,得到一种置换不变的估算法,文中将这种方法应用于癌症组织分类的基因表达数据上,并与其他估算方法进行了比较。
Jan, 2008
基于贝叶斯方法解决的逆问题,通常相对于先验只在参数空间的低维子空间上有信息。因此,可以利用该子空间对参数的后验分布进行近似计算。本文从近似后验协方差矩阵和后验均值两个角度,提出了两种快速的近似方法,并在多个应用案例中进行了验证。
Jul, 2014
该论文研究了将正半定矩阵分解为给定秩矩阵和稀疏矩阵之和的方法,并提出了使用深度神经网络参数化适当大小的矩形矩阵表示解的低秩部分的方法,该方法在投资组合优化中有应用。作者使用梯度下降算法优化神经网络参数,并证明了收敛速度多项式增长。
Aug, 2019
提出了一种基于新的近端牛顿算法的凸优化方法,应用于图学习问题中的稀疏逆协方差矩阵估计,避免了矩阵求逆,适合并行实现。
Jan, 2013
通过深度学习范式,基于有限元离散化的椭圆微分算符生成的矩阵系统,我们提出了一种新的稀疏近似逆(SPAI)预条件器。通过精心设计的自编码器,我们寻求在低维子空间中表示可学习的高性能预条件器分布,能够为这些系统生成 SPAI 预条件器,展现了非常有希望的结果。
May, 2024
本文介绍了一种罚矩阵估计过程,旨在同时具有稀疏和低秩的解决方案。我们引入了一个凸混合惩罚,同时涉及 l1 范数和迹范数。我们在链接预测问题中限制了广义误差,并开发了近端下降策略以有效解决优化问题,并在合成和真实数据集上评估了性能。
Jun, 2012
提出了一种实用的和有效的修改方式,以使全矩阵自适应正则化成为可能,并提供了非凸优化设置下自适应正则化的新理论分析,其核心算法 GGT 可以高效地计算低秩矩阵的平方根的倒数。在合成任务和标准深度学习基准测试中,初步实验结果表明其迭代收敛速度更快。
Jun, 2018