本文介绍了一种使用结构化先验知识的方法,包括知识图谱和图搜索神经网络,以在图像分类流程中有效地融入大型知识图谱,并在多标签分类方面优于标准神经网络基线。
Dec, 2016
本文提出了一种利用外部知识和图像重建损失的新型场景图生成算法,提取外部常识知识以改进场景图的可推广性,并通过在场景图生成网络上引入辅助图像重建路径来解决嘈杂对象注释的偏差问题,全面实验证明我们的框架可以生成更好的场景图,并在 “视觉关系检测” 和 “视觉基因组” 两个基准数据集上实现了最先进的性能。
Apr, 2019
应用常识知识图谱以提高室内场景点云的 3D 场景图预测准确度的实验研究表明,在外部常识知识和内部知识的交互应用中,通过消息传递的方法比最先进的算法提高了 15.0% 的场景图预测准确度和 7.96% 的内部知识,在每秒 10 帧的实际机器人环境中也进行了测试以展示模型的使用情况。
Aug, 2023
使用结构化可视化表征 —— 场景图,通过可视上下文和语言因素进行关系编码,使用场景图卷积网络实现对对象属性和关系语义的联合推理来回答视觉问题,从而在 GQA 数据集上实现了 54.56%的最高准确率。
Dec, 2018
通过使用图形卷积网络和实例关系转换编码器,利用先前的关系和常识知识,提出一种用于一次性场景图生成任务的多重结构化知识方法,并且在构建的数据集上实现了历史最佳的结果。
Feb, 2022
本研究提出了一种新颖的基于注意力机制的关系网络,其包含两个关键模块和一个目标检测主干以实现场景图自动生成,并在 Visual Genome 数据集上进行了实验验证其有效性和优越性。
Nov, 2018
该论文提出了一种改进的方法来生成场景图,通过引入关系层次结构和常识知识。具体而言,我们提出了一个贝叶斯分类头,利用了信息丰富的层次结构,同时预测两个对象之间的超类或关系类型以及每个超类下的详细关系。我们设计了一个常识验证流程,使用大型语言模型对场景图预测系统的结果进行评估,并利用反馈改善模型性能。该系统在测试时不需要外部大型语言模型的辅助,更适用于实际应用。在 Visual Genome 和 OpenImage V6 数据集上的实验证明,利用层次关系可以大幅提高模型性能。该论文提出的贝叶斯头还可以作为一个可移植模块加入现有的场景图生成算法中,以改善它们的结果。此外,常识验证使得模型能够产生大量超出数据集注释的合理预测。
Nov, 2023
论文提出了一种通过获取视觉常识来改善场景图生成模型的鲁棒性的方法,并使用 Transformer 模型结合场景图结构训练了 GLAT 模型,该模型可以纠正明显的错误。通过实验证明,该模型比其他方法更好地学习了视觉常识,并提高了最先进场景图生成模型的准确性。
Jun, 2020
该论文提出了一种新颖的方法来推断场景中的支撑关系和构建语义场景图,以增强场景理解,并构建了一种描述场景内所有上下文关系的语义场景图。
Sep, 2016
本文探讨了使用关系来进行对象检测和实例分割的有效性,并提出了一种基于关系先验的特征增强模型(RP-FEM),该模型通过图形变换器利用关系先验增强对象建议特征。实验结果表明,利用增加了关系先验的场景图可提高对象检测与实例分割的效果。RP-FEM 通过抑制图像中不太可能的类别预测和生成重复预测的问题,在基准模型的基础上取得了改进。
Oct, 2023