Jan, 2019

使用 AdVIL 缓解 MRF 训练的头疼

PDF
TL;DR该论文中提出了一种黑盒算法 Adversarial Variational Inference and Learning (AdVIL)，用于在一般的马尔科夫随机场上执行推断和学习，其中利用两个变分分布近似推断潜在变量和估计 MRF 的分区函数，在随机梯度下降的迭代过程中以最小化极小优化问题来实现，具有较好的实验效果和一定的收敛性。
发现论文，激发创造
  • 图像复原中基于滤波器的 MRF 的损失特定训练的再探讨

    本文探讨了学习 Markov 随机场中参数的两种方法：基于采样的概率学习和基于 MAP 估计的损失特定训练，并提出了一种新的基于双层优化的算法，在较高的精度下解决了双层问题的下层问题，与基于概率训练的 MRF 模型相比，表现更加出色。

    Jan, 2014

  • 深度结构化模型学习

    此研究旨在将马尔可夫随机场与深度学习相结合，提出了一个训练算法，可以学习结构化模型和深度特征，以提高多个随机变量的预测性能。该算法在预测词汇和图像多分类上均具有重要的性能提高。

    Jul, 2014

  • 铰链损失马尔可夫随机场：结构化预测的凸推理

    本文介绍了使用 hinge-loss Markov 随机场图模型进行结构化预测的方法，包括适用于 HL-MRFs 的可扩展的推理算法和几种学习算法，并证明了该方法在四个应用领域中能够与离散模型相媲美或更好的预测性能。

    Sep, 2013

  • 离散随机场的基于原则的并行均场推断

    本文提出了一种基于近端梯度的方法，用于优化变分目标，该方法天然可并行化且易于实施，证明了其收敛性，并且实践证明其收敛速度更快，并且通常能找到更好的最优解，此外我们的方法对参数选择的敏感性更低。

    Nov, 2015

  • 混合自动微分变分推断

    本论文引入了分层抽样的方法，实现了对混合分布的自动微分变分推断（ADVI）； 并且通过建立重要性加权自编码器（IWAE）类似的较紧下界，进一步验证了该方法相较于传统 ELBO 或 IWAE 的优势，特别是在 latents 变量中有多峰分布时，表现出更高的准确性和更好的校准性。

    Mar, 2020

  • 对数超模型中的可扩展变分推断

    本研究考虑在对数超模型中进行近似贝叶斯推断，提出一种基于变分方法的 L-FIELD 方法可以更加高效地解决这个问题。进一步分析了 L-FIELD 的性质，并在图像分割中的应用证实了其可扩展性和高质量性能。

    Feb, 2015

  • MAP 推断的连续松弛：一个非凸视角

    本研究探讨离散马尔可夫随机场的最大后验概率推断的非凸连续松弛，研究表明该松弛对于任意马尔可夫随机场都是紧密的，并且可以通过简单的块坐标下降算法轻松地达到其离散稳定点。我们进一步研究了使用基于交替方向乘子法 (ADMM) 的多线性分解框架的高效解决方案，该方案在许多现实世界的问题上的实验证明，ADMM 比其他非凸松弛方法表现更好，并且在不同设置中与最先进的 MRF 优化算法比较时表现优异。

    Feb, 2018

  • 确定性目标的黑盒变分推断：更快、更准确，更加黑箱

    本研究介绍了一种称为 “确定性 ADVI” 的方法来解决 MFVB 的问题，并使用蒙特卡罗近似方法去优化其目标，相较于标准的 MFVB，确定性 ADVI 能更准确地预测后验线性响应协方差，并在现实问题中表现更加可靠并具有更快的速度和更高的准确性。

    Apr, 2023

  • 利用反向退火得出 MRF 对数似然的准确和保守估计

    提出了一种名为 RAISE 的估计 Markov 随机场模型分区函数的估计器，该估计器只需要标准 AIS 中的 MCMC 转移算子，实验结果表明，RAISE 与 AIS 的似然估计值相当接近，但在低似然时，相对于 AIS 更容易低估似然。

    Dec, 2014

  • 随机马尔可夫场在协同过滤中的应用

    本文研究了协同过滤问题中推荐给用户的物品之间的依赖关系模型，提出了一种基于高斯马尔科夫随机场的自动归一参数化和伪似然函数的方法，可以实现计算效率和推荐准确性之间的平衡。通过几个数据集的实验证明了该方法的有效性。

    Oct, 2019