Oct, 2018

张量列分解中多元概率分布的近似与采样

PDF
TL;DR本论文通过低秩格式的张量列进行交叉插值来构建目标概率密度函数的张量列逼近，然后使用条件分布方法实现了一种基于任意连续多元分布的采样方法。通过 Metropolis-Hastings 接受 / 拒绝步骤来校正转换过的随机种子，计算无偏估计，可以使用更有效的准蒙特卡罗积分方法进行校正。三个计算示例演示了这些方法的有效性。结果表明，比起 DRAM 算法，本文开发的所有方法在所有计算示例中都表现出更好的性能。
发现论文，激发创造
  • 从连续时间公式到离散化方案：张量列车和强健回归用于 BSDEs 和抛物型 PDEs

    数值逼近偏微分方程在高维度上面临巨大挑战，因为传统的基于网格的方法受到维度灾难的困扰。最近的尝试依赖于蒙特卡罗方法和变分公式的结合，使用神经网络进行函数逼近。本文在前人工作的基础上，认为张量网络为抛物型偏微分方程提供了一个吸引人的框架：在反向随机微分方程和回归型方法的重构相结合的方法中，利用潜在低秩结构实现了压缩和高效计算的优势。强调连续时间观点，我们开发了迭代方案，其在计算效率和稳健性方面有所不同。我们在理论上和数值上都证明了我们的方法能在精度和计算效率之间取得有利的权衡。而以往的方法要么准确要么快速，我们已经找到了一种新的数值策略，经常能够同时兼顾这两个方面。

    Jul, 2023

  • 张量列车分解的连续模拟

    本文提出了一种新的方法 —— 使用功能性张量列 (BT) 来表示和计算多元函数，该算法通过将三维张量矩阵与一维矩阵函数替换，可以生成比基于张量乘积基础的系数压缩方法更准确、更稳健的多元函数逼近。

    Oct, 2015

  • 基于张量列车逼近的生成模型与 Hamilton-Jacobi-Bellman 方程

    使用压缩多项式在张量列车（Tensor Train）格式上解决 Hamilton-Jacobi-Bellman（HJB）方程的直接时间积分方法，以避免样本、标准化常数和高维度的问题。

    Feb, 2024

  • 使用张量列车格式解决高维抛物偏微分方程

    本文研究高维偏微分方程，提出了一种基于张量列的近似方法和迭代方案，能够在精确性和计算效率之间达到有利的折衷。

    Feb, 2021

  • 离散分布的可伸缩抽样：梯度抽取错误

    使用似然函数关于离散变量的梯度来提议更新，在一些复杂的模型上，我们的采样方法包括 Ising 模型、Potts 模型、受限玻尔兹曼机和分步隐马尔可夫模型等方面表现出优异的性能，并且有效提升以往在高维离散数据处理方面经常使用的变分自编码器和现有基于能量模型的方法的性能。同时我们证明，该方法是在局部更新的抽样器中几乎是最优的。

    Feb, 2021

  • 超越一阶 Tweedie: 利用潜在扩散解决逆问题

    该论文提出了一种新的采样方法 STSL，利用二阶近似实现比一阶 Tweedie 更高效的反向扩散过程，能够在解决潜在扩散问题和编辑受毁损图像方面取得优越的性能。

    Dec, 2023

  • 运输图加速的马尔科夫链蒙特卡罗

    本文提出了一种新的框架来有效地对复杂概率分布进行抽样，使用最优传输映射和 Metropolis-Hastings 规则相结合，通过连续传输将典型的 Metropolis 提议机制转换为非高斯提议分布，从而更有效地探索目标密度，并在众多参数推断问题中表现出数量级的速度优势。

    Dec, 2014

  • 张量网络分解下的张量 - 张量回归的计算与统计保证

    该论文研究了基于 tensor train (TT) 的张量回归模型的理论和算法方面。通过假设回归算子满足受限等距性质 (RIP)，分析了受限最小二乘优化问题的解的误差界限，并提出了两种优化算法：迭代硬阈值 (IHT) 算法和基于 Riemannian 梯度下降 (RGD) 算法的分解方法。在 RIP 成立的条件下，采用谱初始化可以实现适当的初始化，同时证明了 IHT 和 RGD 的线性收敛速度。

    Jun, 2024

  • 截断多元高斯分布的精确哈密尔顿蒙特卡罗

    本研究提出了一种 Hamiltonian Monte Carlo 算法，能够从受限制的多元高斯分布中进行采样，该算法与 Gibbs 采样相比混合更快，更有效。此外，该算法还支持从具有分段二次 log 密度的分布进行采样，例如在 “Bayesian Lasso” 模型中。

    Aug, 2012

  • 一种反扩散方法的蒙特卡洛抽样

    本研究探讨了通过反向扩散的后验采样潜力，提供了一种新的后验采样算法，其可有效解决高维采样问题，并提供了收敛分析和性能验证。

    Jul, 2023