ICMLJan, 2020

稀疏结构预测的可微松弛优化：LP-SparseMAP

PDF
TL;DR本文介绍了 LP-SparseMAP，这是 SparseMAP 的一个扩展，它通过本地多面体松弛来解决 SparseMAP 的一个限制。LP-SparseMAP 使用因子图的领域特定语言来定义和回溯任意隐藏结构，支持粗分解，硬逻辑约束和高阶相关性。在三个结构化预测任务中的实验显示了与 SparseMAP 和结构化 SVM 相比的优势。
structured predictionsparsemapmap inferencefactor graphslp-sparsemap
发现论文，激发创造
  • 稀疏可导结构化推断

    介绍了 SparseMAP 方法及其应用于深度神经网络的优势，旨在解决基于稀疏结构的推理问题，提高可解释性和准确率

    Feb, 2018

  • 借助稀疏潜在结构实现动态计算图

    本篇研究介绍了一种使用 SparseMAP inference 进行训练的方式，可以在维持可区分性的同时，实现从全局潜在结构建立不受限制的动态计算图，从而助力于深度神经网络建模的训练。

    Sep, 2018

  • 半定规划层次结构在图模型推断中的应用

    本文提出使用具有两个创新的二进制 SDP 松弛，同时聚焦于计算效率的 SOS 层次结构进行 MAP 推理，该算法在实际问题如图像去噪和 Ising 自旋玻璃方面表现优于 BP 和 GBP。

    Sep, 2017

  • 结构化预测中 LP 松弛的训练和测试紧密度

    本文介绍了结构预测在计算机视觉和自然语言处理等领域中的应用，主要是通过最大后验推断或整数线性规划来进行预测，但由于需要复杂的打分函数来获得准确的预测结果，因此学习和推断通常需要使用近似求解器。我们提出了一个理论解释，解释了基于线性规划松弛的近似算法在真实场景中的紧密性，并表明使用 LP 松弛推断进行学习有助于保证训练示例的整整性。

    Nov, 2015

  • 图形模型中的 MAP 估计的 Lagrangian 松弛

    采用拉格朗日松弛技术，将不可解的估计问题重新定义为更可处理的图上问题，通过相应约束的松弛最大化优化问题，并应用于离散和高斯图模型的 MAP 估计及优化问题中。

    Sep, 2007

  • 在多项式时间内学习最大后验扰动模型以进行结构化预测

    本文提出了一种基于 Rademacher 泛化界限的新型通用泊松模型学习算法，并给出了对未知示例的泛化保证条件，该方法可以在多项式时间内计算 MAP 预测器期望损失的泛化界限。

    May, 2018

  • 通过 LP 松弛约束组合搜寻实现精确 MAP 推断

    针对基于图模型的最大后验概率推断问题，本研究提出了一系列不同于 Sherali-Adams 层次结构的松弛方法，将问题分解为一个简单的 LP-tight 部分和一个困难的组合求解器部分，实验证明对小部分问题可以显著降低计算时间。

    Apr, 2020

  • 结构化预测的局部扰动 - MAP 算法

    本文介绍了一种新的局部扰动 - 最大后验 (Local Perturb-and-MAP, locPMAP) 框架，通过利用我们观察到的 locPMAP 与原始 CRF 模型的伪似然函数之间的关系，将全局优化替换为局部优化，从而取代了 CRFs 在学习和推断步骤中的常用的近似技术。在三个不同的视觉任务中测试我们的方法，并展示了我们的方法优于其他优化到伪似然目标的近似推断技术，此外，我们展示可以将我们的方法整合到完全卷积网络框架中，以增加模型的复杂性并证明 locPMAP 和伪似然之间的关系为理解和使用伪似然提供了一种新的视角。

    May, 2016

  • 通过（超）树协议达成的 MAP 估计：消息传递和线性规划

    研究了一种计算 Markov 随机场上最大后验概率的最优配置的方法，通过将原始分布分解为树形分布的凸组合来得到上限，提出了两种尝试获得紧密上限的方法，并建立了模式搜索问题 LP 松弛和最大乘积（最小和）消息传递算法之间的联系。

    Aug, 2005

  • 一种用于构建稀疏先验的分层贝叶斯框架

    本文基于最大后验 (MAP) 估计，提出了一种包含参数先验信息的贝叶斯推断层次结构，同时提供了相关的计算实例和应用案例，探讨了在高维数据下，在变量选择等问题中贝叶斯方法的优势与局限性。

    Sep, 2010