本文介绍了一种基于能量的学习框架,用于生成场景图,允许将场景图的结构有效地纳入输出空间中,通过在学习框架中添加一些约束条件,可以最终提高模型的性能,在视觉基因组和 GQA 基准数据集上的性能提高了 21%和 27%,在零样本和少样本情况下优于现有模型。
Mar, 2021
该研究论文探讨了离散生成模型的结构学习或发现,并侧重于贝叶斯模型选择和训练数据的吸收,特别关注数据摄入的顺序。基于预期自由能,将先验放置在模型选择上是关键之一。通过在 MNIST 数据集上进行图像分类以及在具有动力学的模型发现问题上的测试,展示了该方案的基本思想。在这些示例中,通过自主学习生成模型来恢复(即解开)潜在状态的因素结构及其特征路径或动力学。
Nov, 2023
研究使用视觉图像中的基于场景图谱的结构化表示,通过端到端模型建模图像中对象之间的关系,通过消息传递技术可以更好预测对象及其关系, 实验表明该模型显著优于以前的方法。
Jan, 2017
本文介绍了一个基于高斯图模型和谱图理论的统一图学习框架,通过对图矩阵的谱约束实现了特定结构的图形式化,提出的算法具有收敛性,计算高效,在合成和真实数据集上的实验表明了其有效性。
Apr, 2019
本文提出了一个用于无条件生成场景图的生成模型 SceneGraphGen,通过层级循环架构直接学习带标签和有向图的概率分布,生成的场景图多样且遵循真实场景的语义模式,同时还证明了生成的图在图像合成、异常检测和场景图完整性方面的应用。
Aug, 2021
研究表明,为了改善 VL 模型的结构理解能力,场景图等结构化标注数据虽然耗时、昂贵和繁琐,但只需要小型数据集,就足以使用专用的模型架构和新的训练范式来提高 VL 模型的表现,通过直接使用场景图标签监督图像和文本编码器,以及添加专门的自适应 SG 令牌和新的适应技术来提高 SG 信息的预测。
May, 2023
本文提出了一种单一通用的神经网络结构,用于提取情景任务的特定结构指导,使用新的训练损失模型来优化 SSGNet,表现出针对多个低级视觉应用的最新结果,在未见数据集方面表现出了良好的抗摆性。
Jan, 2023
本文提出了一种基于置换不变性的结构化预测模型设计原则,该模型应用于复杂图像的机器理解,取得了新的最佳效果。
Feb, 2018
本研究提出了一种基于约束学习的半监督学习方法,利用黑盒模拟器生成未标记数据进行训练并通过对抗训练实现生成模型的训练,提高模型在多种任务上的表现。
May, 2018
本文提出了一个有潜在变量的结构化预测的统一框架,包括隐藏的条件随机场和潜在的结构支持向量机。通过对偶性描述了这种普遍公式的局部熵逼近,在图像分割和从单个图像中理解三维室内场景的任务中表现出不错的效果,比潜在结构支持向量机和隐藏条件随机场方法要好。
Jun, 2012