伪行列式微分
基于稀疏高斯图模型,我们提供了协方差矩阵行列式的闭式解。我们的分析基于模型的局部因子的傅里叶变换,得到了应用矩阵行列式引理在变换后的图模型上的闭式表达式。在此背景下,我们还定义了两个高斯图模型之间的等价概念。
Nov, 2023
本文提出了一种使用 LogDet 函数来近似低秩表示和相似矩阵构造的方法,并利用 Augmented Lagrange Multipliers 进行优化,该方法在运动分割和人脸聚类数据上的实验结果表明其优于当前先进的子空间聚类算法。
Jul, 2015
本文研究了高维条件下多元高斯分布的差分熵、协方差矩阵的对数行列式的最优估计问题,建立了样本协方差矩阵对数行列式的中心极限定理,并给出了估计器的收敛率和局限性。
Sep, 2013
提出了利用 Chebyshev、Lanczos 和代理模型的随机估计方法,从只有快速矩阵 - 向量乘法(MVM)的情况下,估计大小为 $n imes n$ 的正定矩阵及其导数的对数行列式。这种方法可以有效地解决 Gaussian process 等问题中的矩阵计算问题。研究发现,在 Chebyshev 和 Lanczos 中,Lanczos 通常优于 Chebyshev,而采用代理方法的速度快且准确。
Nov, 2017
通过导出 Lanczos 和 Arnoldi 迭代的未知共轭系统,该研究利用 JAX 实现了用于科学机器学习模型的数值线性代数效率高的可微分算法,该算法成功地不需要特定问题的代码优化,并在不同领域如选取高斯过程模型和校准贝叶斯神经网络中表现出与其他常见方法相当甚至更好的效果。
May, 2024
本文探讨了带有位移结构(如 Pick 矩阵、Vandermonde 矩阵和 Hankel 矩阵)的矩阵,并利用极值问题得出了这些矩阵奇异值的显式界限,从而可以通过秩近似来逼近这些矩阵
Sep, 2016
本文针对矩阵计算中的不同策略进行了研究,并推导了包含 Cholesky 分解的表达式的符号和算法更新规则。我们建议使用新的 “blocked” 算法,基于 LAPACK 库中的 Cholesky 算法 DPOTRF 进行微分,该算法使用来自 BLAS 的 “Level 3” 矩阵 - 矩阵操作,易于进行缓存友好和并行化。对于大矩阵,得到的算法是计算 Cholesky 导数的最快方式,并且比通常使用的算法快一个数量级。在某些计算环境中,基于符号推导的更新对于小矩阵而言比基于微分 Cholesky 算法的更新快。符号和算法方法可以结合起来以获得最佳效果。
Feb, 2016
本文将协方差矩阵的特征函数的可加次模性扩展到其他谱函数,证明了如果 f 是范围包含矩阵 A 的谱且在其上具有算子单调性的函数的原函数,则函数 I -> tr f (A [I]) 是超模的,讨论了在无限维希尔伯特空间中的自伴算子和 M 矩阵的扩展,以及非负共轭矩阵的 CUR 逼近的应用。
Jul, 2010
本研究提出了自正则化流的概念,通过使用每一层中的学习近似反演,将昂贵的项替换为其梯度的自我正则化流,实现了流架构的培训,同时提供了高效的采样方法。实验表明,这些模型具有显著的稳定性,并优于在计算中限制函数的模型。
Nov, 2020