改进推理网络和结构化预测能量网络的联合训练
本文提出了一种基于神经网络的结构化预测能量网络方法,使用经过训练的神经网络来进行结构化 argmax 推理,同时开发了大边界训练准则以实现对能量函数和推理网络的联合训练。在多标签分类和序列标注等任务中,该方法能够在保持或提高准确性的同时大幅提升推理速度。
Mar, 2018
本论文提出了几个高阶能量项来捕捉序列标记中标签之间的复杂依赖关系,并使用卷积、循环和自我注意网络的神经参数化来处理该方法。我们在学习基于能量的推理网络框架中使用此方法,在四个序列标记任务上实现了高性能,同时具有与简单的本地分类器相同的解码速度,并发现高阶能量在嘈杂的数据条件下的效果更好。
Oct, 2020
文章介绍了一种使用截断随机搜索来训练结构化预测能量网络(SPENs)的方法,以达到在无标记训练数据的情况下有效监督和提高性能的目的。通过使用简单易得的人类知识或不可微分的流水线来组装标量奖励函数,并使用快速的截断随机搜索来有效地搜索输出空间产生局部优化,以避免使用标记训练数据。SPENs 提供了高效的测试时间推理,并在结构化预测中产生先进的结果。
Dec, 2018
本论文提出了一种灵活的结构化预测框架 — 结构化预测能量网络(SPEN),通过使用一个深层架构来定义候选标签的能量函数,使用反向传播来迭代地优化标签的能量,从而进行预测。该框架能够捕捉标签之间的依赖关系,以及自动学习结构化输出的有区别特征,可以应用于多标签分类等问题,展现出卓越的性能,提供了有关前向和迭代结构化预测之间的基本权衡。
Nov, 2015
本文介绍了一种基于深度神经网络的结构预测模型 Structured Prediction Energy Networks(SPENs),通过后向传播优化能量函数来进行终到终的学习,并在 7-Scenes 图像去噪和 CoNLL-2005 语义角色标注任务中展示了该方法的强大能力。
Mar, 2017
比较了使用输出结构梯度下降和神经网络推断两种方法在三个序列标注数据集上的性能,发现使用推断网络的速度和准确度均优于梯度下降法,且在相似精度下较准确的推断速度更快。结论表明,这两种方法的结合有利于提高性能。
Apr, 2019
本文介绍了一种基于能量的学习框架,用于生成场景图,允许将场景图的结构有效地纳入输出空间中,通过在学习框架中添加一些约束条件,可以最终提高模型的性能,在视觉基因组和 GQA 基准数据集上的性能提高了 21%和 27%,在零样本和少样本情况下优于现有模型。
Mar, 2021