Nov, 2023

通过层次关系和常识知识增强场景图生成

PDF
TL;DR该论文提出了一种改进的方法来生成场景图，通过引入关系层次结构和常识知识。具体而言，我们提出了一个贝叶斯分类头，利用了信息丰富的层次结构，同时预测两个对象之间的超类或关系类型以及每个超类下的详细关系。我们设计了一个常识验证流程，使用大型语言模型对场景图预测系统的结果进行评估，并利用反馈改善模型性能。该系统在测试时不需要外部大型语言模型的辅助，更适用于实际应用。在 Visual Genome 和 OpenImage V6 数据集上的实验证明，利用层次关系可以大幅提高模型性能。该论文提出的贝叶斯头还可以作为一个可移植模块加入现有的场景图生成算法中，以改善它们的结果。此外，常识验证使得模型能够产生大量超出数据集注释的合理预测。
scene graphsrelationship hierarchycommonsense knowledgebayesian classificationcommonsense validation
发现论文，激发创造
  • 学习视觉通识以实现强健场景图生成

    论文提出了一种通过获取视觉常识来改善场景图生成模型的鲁棒性的方法，并使用 Transformer 模型结合场景图结构训练了 GLAT 模型，该模型可以纠正明显的错误。通过实验证明，该模型比其他方法更好地学习了视觉常识，并提高了最先进场景图生成模型的准确性。

    Jun, 2020

  • 将知识图谱桥接生成场景图

    本文提出了一种将场景图像与通识知识图谱相结合的新型神经网络方法 GB-Net，通过迭代循环优化信息传达的方式同时实现场景图与通识图的节点连接和边连接，取得了优越的分析表现并创造了新的最优水平。

    Jan, 2020

  • 一次性场景图生成

    通过使用图形卷积网络和实例关系转换编码器，利用先前的关系和常识知识，提出一种用于一次性场景图生成任务的多重结构化知识方法，并且在构建的数据集上实现了历史最佳的结果。

    Feb, 2022

  • 利用外部知识和图像重建的场景图生成

    本文提出了一种利用外部知识和图像重建损失的新型场景图生成算法，提取外部常识知识以改进场景图的可推广性，并通过在场景图生成网络上引入辅助图像重建路径来解决嘈杂对象注释的偏差问题，全面实验证明我们的框架可以生成更好的场景图，并在 “视觉关系检测” 和 “视觉基因组” 两个基准数据集上实现了最先进的性能。

    Apr, 2019

  • 通过常识知识集成进行零样本场景图关系预测

    本研究提出了一种结合常识知识的场景图关系预测框架 COACHER，以填补现有场景图生成框架中对未知三元组建模能力的不足，特别是对零样本关系预测的能力，通过在外部常识知识图中建模实体周围的邻域和路径并将其与目前最先进的 SGG 框架结合，进行了广泛的定量评估和定性案例研究，证明了该方法的有效性。

    Jul, 2021

  • CommonScenes：使用场景图生成常识化的 3D 室内场景

    本文提出了一种基于场景图的全生成模型 CommonScenes，旨在通过抽象场景上下文，生成对应的可控三维场景。该模型通过两个分支的预测和生成实现对全局场景 - 对象及局部对象 - 对象关系的捕捉，同时保留形态多样性，从而在生成一致性、品质和多样性方面具有明显优势。

    May, 2023

  • 基于场景图的常识知识在文本环境中的应用

    本文研究了在文本游戏中使用基于视觉数据集得到的常识推理有助于提高游戏 AI 效率的优势，对比了空间关系的统计信息并在常识推理任务中进行验证实验，结果表明该方法优于现有最先进的方法。

    Oct, 2022

  • 使用有限标签进行场景图预测

    本文提出了一种半监督方法，通过很少的带标签的样本分配概率关系标签到大量未标记的图像，生成足够的训练数据来训练任何现有的最先进的场景图模型，该方法在场景图预测方面优于所有基准方法，此外，我们定义了一种关系的复杂度指标，为条件提供指示符。

    Apr, 2019

  • 使用知识图谱在点云上进行 3D 场景图预测

    应用常识知识图谱以提高室内场景点云的 3D 场景图预测准确度的实验研究表明，在外部常识知识和内部知识的交互应用中，通过消息传递的方法比最先进的算法提高了 15.0% 的场景图预测准确度和 7.96% 的内部知识，在每秒 10 帧的实际机器人环境中也进行了测试以展示模型的使用情况。

    Aug, 2023

  • 场景图生成的知识嵌入式路由网络

    通过深度神经网络和知识嵌入式路由网络，结合统计相关性和语义关系之间的知识图谱，实现了场景图的生成和推理，实验证明该方法优于现有技术，解决了因为世界关系分布不均衡导致的场景图推导的难题。

    Mar, 2019