将知识图谱桥接生成场景图
该论文提出了一种改进的方法来生成场景图,通过引入关系层次结构和常识知识。具体而言,我们提出了一个贝叶斯分类头,利用了信息丰富的层次结构,同时预测两个对象之间的超类或关系类型以及每个超类下的详细关系。我们设计了一个常识验证流程,使用大型语言模型对场景图预测系统的结果进行评估,并利用反馈改善模型性能。该系统在测试时不需要外部大型语言模型的辅助,更适用于实际应用。在 Visual Genome 和 OpenImage V6 数据集上的实验证明,利用层次关系可以大幅提高模型性能。该论文提出的贝叶斯头还可以作为一个可移植模块加入现有的场景图生成算法中,以改善它们的结果。此外,常识验证使得模型能够产生大量超出数据集注释的合理预测。
Nov, 2023
论文提出了一种通过获取视觉常识来改善场景图生成模型的鲁棒性的方法,并使用 Transformer 模型结合场景图结构训练了 GLAT 模型,该模型可以纠正明显的错误。通过实验证明,该模型比其他方法更好地学习了视觉常识,并提高了最先进场景图生成模型的准确性。
Jun, 2020
该研究提出了一种基于知识图谱的语义推理框架,以解决常识性问题,并通过引入 KagNet 模型和 ConceptNet 外部资源,取得了在常识 QA 数据集上的最佳表现。
Sep, 2019
本文提出了一种基于场景图的全生成模型 CommonScenes,旨在通过抽象场景上下文,生成对应的可控三维场景。该模型通过两个分支的预测和生成实现对全局场景 - 对象及局部对象 - 对象关系的捕捉,同时保留形态多样性,从而在生成一致性、品质和多样性方面具有明显优势。
May, 2023
本文研究了在文本游戏中使用基于视觉数据集得到的常识推理有助于提高游戏 AI 效率的优势,对比了空间关系的统计信息并在常识推理任务中进行验证实验,结果表明该方法优于现有最先进的方法。
Oct, 2022
应用常识知识图谱以提高室内场景点云的 3D 场景图预测准确度的实验研究表明,在外部常识知识和内部知识的交互应用中,通过消息传递的方法比最先进的算法提高了 15.0% 的场景图预测准确度和 7.96% 的内部知识,在每秒 10 帧的实际机器人环境中也进行了测试以展示模型的使用情况。
Aug, 2023
本文提出了一种利用外部知识和图像重建损失的新型场景图生成算法,提取外部常识知识以改进场景图的可推广性,并通过在场景图生成网络上引入辅助图像重建路径来解决嘈杂对象注释的偏差问题,全面实验证明我们的框架可以生成更好的场景图,并在 “视觉关系检测” 和 “视觉基因组” 两个基准数据集上实现了最先进的性能。
Apr, 2019
通过深度神经网络和知识嵌入式路由网络,结合统计相关性和语义关系之间的知识图谱,实现了场景图的生成和推理,实验证明该方法优于现有技术,解决了因为世界关系分布不均衡导致的场景图推导的难题。
Mar, 2019
本研究提出了一种结合常识知识的场景图关系预测框架 COACHER,以填补现有场景图生成框架中对未知三元组建模能力的不足,特别是对零样本关系预测的能力,通过在外部常识知识图中建模实体周围的邻域和路径并将其与目前最先进的 SGG 框架结合,进行了广泛的定量评估和定性案例研究,证明了该方法的有效性。
Jul, 2021