Dec, 2018

基于搜索引导的轻量级监督下的结构预测能量网络训练

PDF
TL;DR文章介绍了一种使用截断随机搜索来训练结构化预测能量网络（SPENs）的方法，以达到在无标记训练数据的情况下有效监督和提高性能的目的。通过使用简单易得的人类知识或不可微分的流水线来组装标量奖励函数，并使用快速的截断随机搜索来有效地搜索输出空间产生局部优化，以避免使用标记训练数据。SPENs 提供了高效的测试时间推理，并在结构化预测中产生先进的结果。
structured output predictionreward functionspenstruncated randomized searchlabeled training data
发现论文，激发创造
  • 结构化预测能量网络

    本论文提出了一种灵活的结构化预测框架 — 结构化预测能量网络（SPEN），通过使用一个深层架构来定义候选标签的能量函数，使用反向传播来迭代地优化标签的能量，从而进行预测。该框架能够捕捉标签之间的依赖关系，以及自动学习结构化输出的有区别特征，可以应用于多标签分类等问题，展现出卓越的性能，提供了有关前向和迭代结构化预测之间的基本权衡。

    Nov, 2015

  • 学习用于结构化预测的近似推理网络

    本文提出了一种基于神经网络的结构化预测能量网络方法，使用经过训练的神经网络来进行结构化 argmax 推理，同时开发了大边界训练准则以实现对能量函数和推理网络的联合训练。在多标签分类和序列标注等任务中，该方法能够在保持或提高准确性的同时大幅提升推理速度。

    Mar, 2018

  • 结构化预测能量网络的端到端学习

    本文介绍了一种基于深度神经网络的结构预测模型 Structured Prediction Energy Networks（SPENs），通过后向传播优化能量函数来进行终到终的学习，并在 7-Scenes 图像去噪和 CoNLL-2005 语义角色标注任务中展示了该方法的强大能力。

    Mar, 2017

  • 图结构预测能量网络

    提出了一种用于结构预测的能量网络，能够同时建模明确局部和隐式高阶关联，同时保持推理的易计算性，并将该方法应用于自然语言处理和计算机视觉任务，展示了其广泛实用性。

    Oct, 2019

  • 非线性输出转换的深度结构化预测

    本研究提出一种新型模型，可用于语义分割等任务中，综合多种现有方法，实现了图像分割中非线性输出空间转换，同时保持了现有推理技术的适用性。

    Nov, 2018

  • 改进推理网络和结构化预测能量网络的联合训练

    设计了一种复合目标函数，共同训练成本增强和测试时推理网络以及能量函数，为结构化预测稳定和提高了这种联合训练能力，并在两个序列标注任务上进行了实证验证，显示优于以前的工作方案，以及在全局能量项上取得进一步改进。

    Nov, 2019

  • 隐式训练能量模型用于结构预测

    该论文讨论了现有训练目标在处理复杂结构化输出方面的局限性，并介绍了通过隐式梯度技术学习动态损失景观以提高模型在结构预测中的性能的方法。

    Nov, 2022

  • 基于能量的推断网络在任意阶序列标注中的探索

    本论文提出了几个高阶能量项来捕捉序列标记中标签之间的复杂依赖关系，并使用卷积、循环和自我注意网络的神经参数化来处理该方法。我们在学习基于能量的推理网络框架中使用此方法，在四个序列标记任务上实现了高性能，同时具有与简单的本地分类器相同的解码速度，并发现高阶能量在嘈杂的数据条件下的效果更好。

    Oct, 2020

  • 归纳节点分类的神经结构化预测

    本文提出了一种新的方法：结构化代理网络（SPN），它结合了条件随机场（CRFs）和图神经网络（GNNs）的优点，通过解决一个近似的优化问题来有效学习模型，用于无标签测试图上的节点标签推断，实验结果表明 SPN 优于许多竞争对手。

    Apr, 2022

  • 在线学习中的结构化预测

    在线学习环境下的结构化预测问题的理论和算法性框架的研究。通过研究，我们发现我们的算法能够推广到监督学习环境中的优化算法，并且在数据非独立同分布的情况下也能达到相同的风险上界。此外，我们还考虑了一种特别设计用于非平稳数据分布（包括对抗性数据）的第二个算法，并以数据分布的变化为函数界限其随机遗憾。

    Jun, 2024