Jul, 2014

贝叶斯线性逆问题的最优低秩逼近

PDF
TL;DR基于贝叶斯方法解决的逆问题，通常相对于先验只在参数空间的低维子空间上有信息。因此，可以利用该子空间对参数的后验分布进行近似计算。本文从近似后验协方差矩阵和后验均值两个角度，提出了两种快速的近似方法，并在多个应用案例中进行了验证。
bayesian approachinverse problemslow-dimensional subspaceposterior covariance matrixfast approximations
发现论文，激发创造
  • 非线性贝叶斯反问题中的认证降维

    我们提出了一种用于贝叶斯反问题的降维技术，包括非线性正演算子、非高斯先验和非高斯观测噪声，我们通过一个垄线函数来近似似然函数，并最小化 KL 散度的上界来建立此垄线近似。这个上界可以通过对梯度的二阶矩矩阵的计算来获得并进行上界估计，数值和理论比较证明了方法的优点。

    Jul, 2018

  • 带稀疏先验的贝叶斯线性回归

    研究高维线性回归的完全贝叶斯程序，旨在寻找未知的稀疏矢量，选择正确的稀疏模型或显著不同于零的系数，并构建和研究置信集以量化不确定性。

    Mar, 2014

  • 广义高维线性反问题的几何推断

    该论文提出了一个几何统计分析框架，适用于泛化的不适定线性反问题模型，包括噪声压缩感知、符号向量恢复、迹回归、正交矩阵估计和噪声矩阵完成等特殊情况，提出了可行的计算凸规划方法，用于统计推断，包括估计、置信区间和假设检验。该论文建立了一个理论框架，以表征局部估计收敛速度，并提供统计推断保证，其结果基于局部锥几何和对偶性，并通过高斯宽度和 Sudakov 最小化估计量表征局部切锥的几何。

    Apr, 2014

  • 降秩卡尔曼滤波器：高维近似动态降秩滤波

    本文提出了一种适用于高维动态系统的近似高斯滤波和平滑方法，通过投影预测步骤中与 Lyapunov 方程相关联的低秩矩阵流形来推进低秩协方差矩阵的逼近，从而将算法的复杂度从 Kalman 滤波的立方降至最坏情况下的二次方、并且在满足一定条件下可达到线性复杂度， experiments 中表明该方法在均值和协方差误差方面的表现优于基于集合的方法，成本不增加。

    Jun, 2023

  • 使用二次逼近法稀疏逆协方差矩阵估计

    本研究提出了一种基于牛顿法的新型算法，用于解决优化问题，该问题是一个正则化的对数行列式程序，能够从非常有限的样本中恢复稀疏逆协方差矩阵，或者是高斯马尔科夫随机场的基础图结构，并通过合成和真实的应用数据实验结果表明，与其他最先进的方法相比，我们的方法在性能上有了显着的改进。

    Jun, 2013

  • 低秩核矩阵近似的尖锐分析

    本文研究了在正定核框架下的监督学习问题，提出了基于随机矩阵列采样的核矩阵低秩近似方法，此方法可以在 sub-quadratic 的时间复杂度内有效解决核矩阵计算问题，同时保持预测性能不变。

    Aug, 2012

  • 基于量子理论的低秩随机回归，其维度对数依赖性

    本论文构建了一个高效的量子矩阵反演算法（HHL）的经典模拟器，基于 Tang 的最近研究成果，通过对输入数据进行长度平方采样，实现了低秩矩阵的伪逆并使用快速抽样技术从问题 $Ax=b$ 的解中采样。本文通过子采样来找到 $A$ 的近似奇异值分解，从而实现伪逆。该方法也可用于把任何期望的 “平滑” 函数应用到奇异值上。既然许多量子算法可以表示为奇异值变换问题，我们的结果表明更多的低秩量子算法可以有效地 “去量子化” 成为使用长度平方采样的经典算法。

    Nov, 2018

  • 高斯先验下的贝叶斯反问题

    本文研究了非参数逆问题中的后验分布，证明其收敛于真实参数的速率取决于参数的平滑度以及先验的平滑度和尺度。正确组合这些特征可以实现最小化速率。显示可信度集的频率覆盖取决于先验和真实参数的组合，先验更平滑会导致零覆盖，而粗糙的先验会导致保守的覆盖。在后一种情况下，可信区间的数量级是正确的。通过恢复受噪音干扰的基本函数的问题进行了数值演示。

    Mar, 2011

  • 高斯过程回归中共轭梯度和 Lanczos 近似后验收缩率

    高斯过程回归模型在现代统计学和机器学习中成为一个核心主题，然而在大规模样本中，要得到精确的后验结果是计算上不可行的，因此我们分析了概率数值方法中一类最近提出的近似算法，结合数值分析和 Kernel 矩阵的谱浓度结果得到了极小化收缩速率的理论结果，通过数值实验验证了我们的理论发现。

    Jun, 2024

  • 稀疏置换不变协方差估计

    提出一种构建稀疏估计器的方法，用于高维背景下的逆协方差（浓度）矩阵，使用罚函数正态似然方法强制使用 Lasso 型惩罚，并在数据维数 $p$ 和样本量 $n$ 随着增长收敛速率之间建立 Frobenius 范数。同时对真实浓度矩阵进行稀疏度量，提出一种基于相关性的方法，在操作规范下具有更好的收敛速率，推出一种快速迭代算法用于计算估计值，利用常用的 Cholesky 分解反演，得到一种置换不变的估算法，文中将这种方法应用于癌症组织分类的基因表达数据上，并与其他估算方法进行了比较。

    Jan, 2008