KDDJul, 2021

通过常识知识集成进行零样本场景图关系预测

PDF
TL;DR本研究提出了一种结合常识知识的场景图关系预测框架 COACHER，以填补现有场景图生成框架中对未知三元组建模能力的不足，特别是对零样本关系预测的能力，通过在外部常识知识图中建模实体周围的邻域和路径并将其与目前最先进的 SGG 框架结合，进行了广泛的定量评估和定性案例研究，证明了该方法的有效性。
relation predictionscene graph generationcommonsense reasoningzero-shot predictionvisual understanding
发现论文，激发创造
  • 一次性场景图生成

    通过使用图形卷积网络和实例关系转换编码器，利用先前的关系和常识知识，提出一种用于一次性场景图生成任务的多重结构化知识方法，并且在构建的数据集上实现了历史最佳的结果。

    Feb, 2022

  • 基于常识知识图谱的零样本学习

    使用 TrGCN 结构，从 common sense knowledge graphs 中，学习类别的表示形式，有效地提高了 zero-shot learning 的准确性。

    Jun, 2020

  • 基于多个知识图谱的模块化迁移学习用于零样本常识推理

    本文提出一种模块化的知识聚合的零 - shot 常识推理框架，可以在多个不同的知识图谱中应用，提高了常识推理性能。

    Jun, 2022

  • 基于逻辑引导的零样本关系分类语义表示学习

    该研究提出了一种基于逻辑引导的语义表示学习模型，通过知识图谱嵌入和逻辑规则，在已知和未知关系之间建立联系，用于零样本关系分类。实验结果表明，该方法可以推广到未见关系类型，并取得了有希望的提升。

    Oct, 2020

  • 通过层次关系和常识知识增强场景图生成

    该论文提出了一种改进的方法来生成场景图，通过引入关系层次结构和常识知识。具体而言，我们提出了一个贝叶斯分类头，利用了信息丰富的层次结构，同时预测两个对象之间的超类或关系类型以及每个超类下的详细关系。我们设计了一个常识验证流程，使用大型语言模型对场景图预测系统的结果进行评估，并利用反馈改善模型性能。该系统在测试时不需要外部大型语言模型的辅助，更适用于实际应用。在 Visual Genome 和 OpenImage V6 数据集上的实验证明，利用层次关系可以大幅提高模型性能。该论文提出的贝叶斯头还可以作为一个可移植模块加入现有的场景图生成算法中，以改善它们的结果。此外，常识验证使得模型能够产生大量超出数据集注释的合理预测。

    Nov, 2023

  • 学习视觉通识以实现强健场景图生成

    论文提出了一种通过获取视觉常识来改善场景图生成模型的鲁棒性的方法，并使用 Transformer 模型结合场景图结构训练了 GLAT 模型，该模型可以纠正明显的错误。通过实验证明，该模型比其他方法更好地学习了视觉常识，并提高了最先进场景图生成模型的准确性。

    Jun, 2020

  • 利用常识知识改进零样本学习基线

    本研究旨在解决 Zero shot learning 的挑战，利用 ConceptNet 的通识知识图谱，通过图卷积网络自编码器生成类标签的通识嵌入，结合 HA 和 DWE 的管道，可提高视觉和语义嵌入之间的关联性，进而在三个基准数据集上表现优异。

    Dec, 2020

  • 生成式对抗零样本关系学习用于知识图谱

    本文提出了一种零样本学习方法，利用生成对抗网络从文本描述中学习新关系的语义特征并在知识图谱中识别新关系的事实，使得知识图谱的扩展更加容易，实验结果表明这种方法可以被广泛应用于任何版本的知识图嵌入，并在 NELL 和 Wiki 数据集上实现了一致的性能提升。

    Jan, 2020

  • 将知识图谱桥接生成场景图

    本文提出了一种将场景图像与通识知识图谱相结合的新型神经网络方法 GB-Net，通过迭代循环优化信息传达的方式同时实现场景图与通识图的节点连接和边连接，取得了优越的分析表现并创造了新的最优水平。

    Jan, 2020

  • 带关系预测器的神经符号常识推理器

    本篇论文提出了一种神经符号推理器，可以处理大规模的动态常识知识图谱，通过学习逻辑规则，提供可解释性的预测，并在 CKGs 的链接预测任务上表现优于现有的技术。

    May, 2021