ICMLNov, 2015

结构化预测中 LP 松弛的训练和测试紧密度

PDF
TL;DR本文介绍了结构预测在计算机视觉和自然语言处理等领域中的应用，主要是通过最大后验推断或整数线性规划来进行预测，但由于需要复杂的打分函数来获得准确的预测结果，因此学习和推断通常需要使用近似求解器。我们提出了一个理论解释，解释了基于线性规划松弛的近似算法在真实场景中的紧密性，并表明使用 LP 松弛推断进行学习有助于保证训练示例的整整性。
structured predictioncomputer visionnatural language processinginteger linear programlp relaxed inference
发现论文，激发创造
  • 利用消息传递来加紧 MAP 的 LP 松弛

    使用双重消息传递算法对线性规划进行松弛，通过迭代选择具有保证改进的集群，解决集群选择问题，成功地在蛋白质侧链放置、蛋白质设计和立体化问题中找到了最有可能的 MAP 配置。

    Jun, 2012

  • 通过 LP 松弛约束组合搜寻实现精确 MAP 推断

    针对基于图模型的最大后验概率推断问题，本研究提出了一系列不同于 Sherali-Adams 层次结构的松弛方法，将问题分解为一个简单的 LP-tight 部分和一个困难的组合求解器部分，实验证明对小部分问题可以显著降低计算时间。

    Apr, 2020

  • 使用整流器网络学习结构预测的约束条件

    本研究旨在解决自然语言处理的结构预测问题中限制管控的好坏与实现的关系，提出了一种基于双层整流网络的学习限制方法，可以通过学习网络的参数生成一系列线性约束，从而提高 NLP 任务的预测准确性。

    May, 2020

  • 稀疏结构预测的可微松弛优化：LP-SparseMAP

    本文介绍了 LP-SparseMAP，这是 SparseMAP 的一个扩展，它通过本地多面体松弛来解决 SparseMAP 的一个限制。LP-SparseMAP 使用因子图的领域特定语言来定义和回溯任意隐藏结构，支持粗分解，硬逻辑约束和高阶相关性。在三个结构化预测任务中的实验显示了与 SparseMAP 和结构化 SVM 相比的优势。

    Jan, 2020

  • 从数据中挖掘约束条件的整数线性规划框架

    本文提出了一种用于从数据中挖掘约束条件的一般框架，该框架以整数线性规划问题的形式考虑结构化输出预测中的推断，然后通过估计可行集的外部和内部多面体来挖掘底层约束条件，并在各种合成和现实应用中验证了所提出的约束挖掘算法。

    Jun, 2020

  • 基于线性规划的预测和优化的内点求解

    通过使用对数障碍项而不是二次惩罚项和神经网络的优化问题解决方案，实现了优化问题的解决方案，结果表明其效果与基于二次规划任务损失的公式以及 SPO 方法一样好，甚至更好。

    Oct, 2020

  • 结构化预测的对抗性约束学习

    本研究提出了一种基于约束学习的半监督学习方法，利用黑盒模拟器生成未标记数据进行训练并通过对抗训练实现生成模型的训练，提高模型在多种任务上的表现。

    May, 2018

  • 结构化预测的紧密误差界

    本文介绍了关于机器学习中结构化预测任务的理论分析，探究了标签预测对标签组合所带来的影响，以及如何通过图结构分类来达到期望错误率的降低。

    Sep, 2014

  • 及时预测结构：推理的回归

    通过结构约束和组合推理，我们构建了一种基于提示的方法用于零和少样本的语言结构预测，在两个结构预测任务和五个数据集上的结果表明，强制一致性不仅构建了结构上有效的输出，而且还改善了性能。

    Jan, 2024

  • 线性规划中的结构和因果关系发现

    本文从因果性的角度研究了线性规划的一些基本组件，探讨了其在机器学习、概率推断和能源系统等方面的应用。

    Mar, 2022