Feb, 2017

ViP-CNN: 可视化短语引导卷积神经网络

HTML
PDF
TL;DR该研究提出了一种以短语为单位进行视觉关系检测的方法——ViP-CNN，通过使用一个短语导向的信息传递结构（PMPS）来同时考虑三个相互关联的识别问题，并通过相应的非极大值抑制方法和模型训练策略来提高检测速度和准确率。实验结果表明，ViP-CNN不仅在速度上优于其他方法，而且在精确度上也表现出较好的性能，在以视觉基因组关系数据集上进行的预训练任务上也比在ImageNet上进行的预训练更加有效。
发现论文，激发创造
  • 可视化翻译嵌入网络用于视觉关系检测

    提出了一种新的基于关系表示学习和卷积物体检测网络的视觉关系检测方法VTransE，该方法可以有效地定位和预测复杂的视觉关系三元组，同时在两个大规模数据集上验证了其有效性。

    Feb, 2017

  • 使用深度关系网络检测视觉关系

    通过深度关系网络的嵌入式框架，探讨和利用对象之间以及它们的关系之间的统计依赖关系，从而实现更好的图像理解能力。

    Apr, 2017

  • 自然语言引导下的视觉关系检测

    本研究提出了一种自然语言引导的框架来解决视觉关系检测任务中对象对之间关系分类的问题，并使用双向循环神经网络以及语义连接来预测参与关系的对象之间的语义连接。该方法在Visual Relationship Detection和Visual Genome数据集上取得了最佳状态，特别是在未预测关系的情况下。

    Nov, 2017

  • Zoom-Net：挖掘深度特征交互进行视觉关系识别

    本研究提出了Zoom-Net算法，该算法通过特征互动实现了在不使用语言先验知识的情况下，识别复杂关系的出色表现。实验表明该算法与其他采用显式的语言交互模型的算法相比，能够大幅提高性能。

    Jul, 2018

  • 使用场景描述的语义建模改进视觉关系检测

    通过将语义模型与视觉统计模型相结合，并应用多种先进的链接预测方法，本研究证明链接预测方法可以提高对于视觉关系检测的结果，并在Stanford Visual Relationship数据集上取得了优于当今最先进方法的性能。

    Sep, 2018

  • 利用辅助文本进行深度识别未见视觉关系

    提出一种融合图像和文本信息用于视觉关系检测和场景图生成的深度模型，通过共同的文本图像表示方法实现文本补充图像数据，结果表明图像中没有的文本信息可以显著提高模型性能

    Oct, 2019

  • VReBERT：一个简单灵活的用于视觉关系检测的Transformer

    利用 VReBERT 模型的多阶段训练策略，联合处理视觉和语义特征的 VRD 模型，可以有效地预测谓词关系，推动零样本预测技术的发展。

    Jun, 2022

  • 知识增强的少样本视觉关系检测

    本研究提出了一个基于知识增强的少样本学习（few-shot learning）框架，利用预训练语言模型和自动构建的视觉关系知识图谱获取了文本知识和视觉关系知识，从而提高了少样本学习的实用性和性能。与现有最先进模型相比，在常用的Visual Genome数据集的三个基准测试中，本方法的性能大幅超越了现有最先进模型。

    Mar, 2023

  • 基于大型语言模型的复合视觉线索进行零样本视觉关系检测

    通过使用 RECODE 方法，利用预训练图像-语言模型，我们能够解决零样本可视关系检测中存在的问题，提高了关系检测的准确性和可解释性。

    May, 2023

  • 场景图ViT：端到端开放词汇视觉关系检测

    通过引入无解码器架构和注意力机制，我们提出了一种简单高效的基于Transformer的图像编码器模型，用于开放词汇视觉关系检测，并在Visual Genome和大词汇GQA基准测试上实现了最好的关系检测性能。

    Mar, 2024