提出神经符号视觉对话（NSVD）方法，将深度学习和符号程序执行结合起来，用于多轮基于视觉的推理，并取得了显著的性能提升。在使用更严格的评估方案时，我们的最佳模型在 CLEVR-Dialog 数据集上实现了 99.72％的准确度，在总体上比现有技术提高了 10％以上。我们的结果表明，神经符号模型的平均故障轮数更高，对不完整的对话历史记录更稳健，并在长度高达训练期间三倍的对话框架以及未见过的问题类型和场景上表现出更好的泛化能力。

Aug, 2022

本研究提出了一种自然语言引导的框架来解决视觉关系检测任务中对象对之间关系分类的问题，并使用双向循环神经网络以及语义连接来预测参与关系的对象之间的语义连接。该方法在 Visual Relationship Detection 和 Visual Genome 数据集上取得了最佳状态，特别是在未预测关系的情况下。

Nov, 2017

我们提出了一种基于知识图谱和语义网络技术的 Vision Knowledge Graph（VisionKG），用于链接、组织和管理具有异构特征的视觉数据集，提供简单访问和查询不同格式和分类法的最新视觉数据集，增强语义丰富性并通过 SPARQL 提供多种数据检索与探索服务，集成了 30 个数据集和四个流行 CV 任务，展示了在 CV 流程中的多种应用场景。

Sep, 2023

本研究提出了一个基于知识增强的少样本学习（few-shot learning）框架，利用预训练语言模型和自动构建的视觉关系知识图谱获取了文本知识和视觉关系知识，从而提高了少样本学习的实用性和性能。与现有最先进模型相比，在常用的 Visual Genome 数据集的三个基准测试中，本方法的性能大幅超越了现有最先进模型。

Mar, 2023

本文提出了 NS3D 三维场景认知神经符号框架，通过使用基于大规模语言编程模型的层级结构来将语言翻译为程序，不同的功能模块实现为神经网络，并引入管高度关系的功能模块有效地推理复杂场景中物体之间的关系，在数据效率和泛化方面表现出色，在 3D 视角相关任务 ReferIt3D 上获得了最先进的结果。

Mar, 2023

通过构建一个名为 VrR-VG 的新场景图数据集，我们提出了一种通过修剪视觉不相关的关系来自动挖掘更有价值关系的新方法，并通过考虑实例、属性和关系来学习关系感知表征，从而系统性地提高了图像字幕和视觉问题回答的性能。

Feb, 2019

本文提出一种基于语义损失函数的神经符号 AI 的方法，用于上下文感知的人体活动识别中，避免了符号推理模块，同时在建立的训练模型中注入了特定知识要求，能够在一些方面超越现有方法，如数据驱动模型，达到或者超过现有的系统识别率。

Jun, 2023

VisualSem 是一个高质量的知识图谱，包括具有多语言注释、多幅图像和视觉相关关系的节点，并提供了可以用作输入的图像或句子并检索知识图谱中实体的神经多模态检索模型。

Aug, 2020

利用混合专家方法的 MoE-VRD 在视觉关系检测中展示了较优的性能，通过条件计算和可伸缩性能显著增强了神经网络容量。

Mar, 2024

本论文提出了一种新的基于深度学习的架构 —— 多模态注意力翻译嵌入模型，该模型使用多模态关注机制驱动每个分支的视觉特征，并在常用的 VRD 数据集上的实验表明，该方法明显优于其他相关方法。

Feb, 2019