Feb, 2019

深度监督的多模态注意力翻译嵌入在视觉关系检测中的应用

PDF
TL;DR本论文提出了一种新的基于深度学习的架构 —— 多模态注意力翻译嵌入模型，该模型使用多模态关注机制驱动每个分支的视觉特征，并在常用的 VRD 数据集上的实验表明，该方法明显优于其他相关方法。
visual relationshipsmultimodal attentional mechanismdeep learningscene understandingvrd dataset
发现论文，激发创造
  • 视觉关系检测和场景图生成的上下文翻译嵌入

    提出一种基于 VTransE 方法的上下文增强翻译嵌入模型，可以捕捉常见和罕见关系，进而提升图像理解能力。该模型可以有效地识别已知关系和未知关系，同时在多个基准测试中取得了优秀的表现，特别是在场景图生成任务中表现尤为突出。

    May, 2019

  • 可视化翻译嵌入网络用于视觉关系检测

    提出了一种新的基于关系表示学习和卷积物体检测网络的视觉关系检测方法 VTransE，该方法可以有效地定位和预测复杂的视觉关系三元组，同时在两个大规模数据集上验证了其有效性。

    Feb, 2017

  • 使用专家混合模型进行视频关系检测

    利用混合专家方法的 MoE-VRD 在视觉关系检测中展示了较优的性能，通过条件计算和可伸缩性能显著增强了神经网络容量。

    Mar, 2024

  • 自然语言引导下的视觉关系检测

    本研究提出了一种自然语言引导的框架来解决视觉关系检测任务中对象对之间关系分类的问题，并使用双向循环神经网络以及语义连接来预测参与关系的对象之间的语义连接。该方法在 Visual Relationship Detection 和 Visual Genome 数据集上取得了最佳状态，特别是在未预测关系的情况下。

    Nov, 2017

  • 多模态机器翻译的视觉注意力基础神经模型

    我们介绍了一种新颖的多模式机器翻译模型，利用平行的视觉和文本信息。该模型通过视觉注意力锚定机制链接视觉和文本语义，并实现共享的视觉 - 语言嵌入和翻译器的联合优化，取得了在 Multi30K 和 Ambiguous COCO 数据集上有竞争力的最新结果。我们还收集了一个新的多语言多模态产品描述数据集来模拟真实的国际在线购物场景。在这个数据集上，我们的视觉注意力锚定模型以大幅度优于其他方法的表现脱颖而出。

    Aug, 2018

  • 使用场景描述的语义建模改进视觉关系检测

    通过将语义模型与视觉统计模型相结合，并应用多种先进的链接预测方法，本研究证明链接预测方法可以提高对于视觉关系检测的结果，并在 Stanford Visual Relationship 数据集上取得了优于当今最先进方法的性能。

    Sep, 2018

  • VReBERT：一个简单灵活的用于视觉关系检测的 Transformer

    利用 VReBERT 模型的多阶段训练策略，联合处理视觉和语义特征的 VRD 模型，可以有效地预测谓词关系，推动零样本预测技术的发展。

    Jun, 2022

  • 利用内部和外部语言知识蒸馏的视觉关系检测

    该研究使用语言统计学的知识来规范视觉模型的训练，在学习视觉关系中的主语、谓语和宾语等实体之间的关系时，可以更准确地反映它们之间的联系。实验结果表明，使用此语言知识提炼，可显著提高模型的检测性能。

    Jul, 2017

  • 大规模视觉关系理解

    该研究提出一种新的关系检测模型，将物体和关系嵌入到两个矢量空间中，同时保留了区分能力和语义关联性，并在基于 Visual Genome 的大规模和不平衡基准上展示了该模型的有效性。

    Apr, 2018

  • 利用辅助文本进行深度识别未见视觉关系

    提出一种融合图像和文本信息用于视觉关系检测和场景图生成的深度模型，通过共同的文本图像表示方法实现文本补充图像数据，结果表明图像中没有的文本信息可以显著提高模型性能

    Oct, 2019