Dec, 2023

摊销重参数化：隐状态随机微分方程的高效可扩展变分推断

PDF
TL;DR通过一种新的分摊策略以及线性 SDEs 下的期望重新参数化的方法，我们在训练时的模型评估次数减少了一个数量级，从而实现了类似于基于伴随灵敏度的方法的相似性能。
latent stochastic differential equationsapproximate differential equationsamortization strategyexpectations under linear sdesadjoint sensitivities
发现论文，激发创造
  • 均质空间上的潜隐式微分方程

    研究在一个固定的同质化潜在空间中的矩阵李群诱导的随机微分方程类型中的变分贝叶斯推断问题，并以具有竞争力的或甚至是最先进的性能完成各种时间序列插值和分类基准测试。

    Jun, 2023

  • 基于鲁棒的随机微分方程变分公式的深度学习求解线性偏微分方程

    该研究探讨了利用 Monte Carlo 方法和深度学习解决高维偏微分方程（PDE）的有效算法，并提供了一些新方法，这些方法在利用梯度优化方法最小化相应损失时具有低差异性，并提高了所提到的现有深度学习方法的性能。

    Jun, 2022

  • 神经 SDE 的高效准确梯度

    本文介绍了利用可逆且代数上可逆的 Heun 方法以及优化的布朗运动采样技术，加速求解反向 SDE 以训练神经 SDE 模型，并提出了用于 GAN 的训练技巧，实验表明我们的算法在速度和预测效果上超过了现有技术。

    May, 2021

  • 利用基于梯度的摘要统计信息改善摊余后验近似

    通过交替生成和训练条件生成模型，本研究设计出一种迭代框架来提高基于贝叶斯逆问题的后验分布的分析逼近，从而实现迭代改善逼近效果的自动化过程，并检验了在人脑超声成像中的应用情况。

    May, 2023

  • 基于深度学习的马尔可夫模型中时间相关参数的估计，应用于非线性回归和随机微分方程

    我们提出了一种新颖的深度学习方法，用于通过离散采样估计马尔科夫过程中的时变参数。通过将参数近似重新构造为最大似然方法的优化问题，我们的方法与传统的机器学习方法有所不同。实验验证集中在多元回归和随机微分方程的参数估计上。理论结果表明，在特定条件下，具有使用我们的神经网络导出的参数近似的 SDE 接近真实解。我们的工作为基于 SDE 的模型参数估计做出了贡献，为不同领域提供了一种多功能工具。

    Dec, 2023

  • 随机微分方程的可扩展梯度

    本文提出一种利用伴随灵敏度方法计算随机微分方程梯度的方法，结合高阶适应性求解器，实现快速、内存高效的梯度计算。并将该方法应用于基于神经网络的随机动力学拟合中，表现出竞争性的性能。

    Jan, 2020

  • 迭代摊销推断

    我们提出了迭代推理模型，它通过反复编码梯度来学习执行推理优化，从而实现对标准推理模型在多个基准数据集的图像和文本上的超越。

    Jul, 2018

  • 非线性切换动态系统的坍缩摊销变分推理

    该研究提出了一种高效的推理方法，其中关键点是学习一个推理网络，该网络可用作连续潜变量的提案分布，并对离散潜变量进行精确边缘化。通过使用重参数化技巧和随机梯度下降的端到端训练，我们表明这种方法可以成功地将时间序列数据进行分割，包括视频和三维人体姿势，以实现有意义的 “制度”。

    Oct, 2019

  • 自动编码变分贝叶斯

    本文介绍了一种基于随机变分推理 (Variational Inference) 的学习算法，可以为存在潜变量的、具有难以处理的后验分布的连续概率模型提供有效的推理和学习方法，特别是在大型数据集下具有较好的表现，且已经在实验上得到了验证。

    Dec, 2013

  • AdjointDEIS: 扩散模型的高效梯度

    扩散模型的优化和参数的梯度计算是一个复杂而具有挑战性的问题，本文提出了一种基于随机伴随灵敏度方法的新方法，用于计算模型的梯度，并演示了该方法在人脸变形问题上的有效性。

    May, 2024