Dec, 2018

视觉社交关系识别

PDF
TL;DR本文提出了一种 Dual-Glance 模型，通过对人物关注视线的两个不同方面分别提取特征，结合注意力机制分析上下文线索，从而识别图片中的社交关系，并通过 Adaptive Focal Loss 方法处理模糊注释以提高识别效果，实验表明此方法在社交关系识别中取得了最新的最优效果。
social relationshipscomputational modelsvisual datadual-glance modelsocial relationship recognition
发现论文，激发创造
  • 解读社交关系的双重凝视模型

    本研究提出了一种基于双眼模型的社交关系识别方法，在探索语境线索的同时，固定在感兴趣的个体对，并提供了一个大规模 PISC 数据集来验证其有效性。

    Aug, 2017

  • 从社会认知角度看：上下文感知的视觉社交关系识别

    通过结合社会认知角度，该研究提出了一种新的方法，ConSoR，以从视觉中识别上下文化的社会关系，并通过多模态适配器和视觉 - 语言对比机制加强对决定性视觉社会因素的识别，从而在 PISC 数据集上实现了 12.2％的提升和 PIPA 基准上的 9.8％提高，更可靠地揭示社会关系。

    Jun, 2024

  • 关于您的关心：朝着大规模人本视觉关系检测

    本文提出一种应对图像中物体之间交互关系检测的方法，并构建了一个大规模的基于人的视觉关系检测数据集，并且提出一种基于网络监督学习的方法来解决测试集中标签标注的问题，提高了模型的准确性。

    May, 2017

  • 具有语言先验知识的视觉关系检测

    本研究提出了一种新的模型，使用语义词嵌入的语言先验知识进行训练，以预测图像中的多个视觉关系，同时将物体和谓词分别训练，并在图像中标定对象的位置，从而提高基于内容的图像检索的准确性。

    Jul, 2016

  • 多粒度推理用于图像社交关系识别

    本研究提出了一种基于多粒度推理的社交关系识别框架，包括全局知识，中层细节和细粒度姿态关键点。研究设计了基于姿态指导的人物对象图和人物姿态图来建模人物到对象的动作和配对人物之间的交互，并借助图卷积网络进行社交关系推理。实验结果表明提出的框架在两个公共数据集上具有较高的效果。

    Jan, 2019

  • 使用场景描述的语义建模改进视觉关系检测

    通过将语义模型与视觉统计模型相结合，并应用多种先进的链接预测方法，本研究证明链接预测方法可以提高对于视觉关系检测的结果，并在 Stanford Visual Relationship 数据集上取得了优于当今最先进方法的性能。

    Sep, 2018

  • 使用深度关系网络检测视觉关系

    通过深度关系网络的嵌入式框架，探讨和利用对象之间以及它们的关系之间的统计依赖关系，从而实现更好的图像理解能力。

    Apr, 2017

  • 从面部图像中学习社交关系特征

    本研究使用深度模型从面部图像中学习捕捉性别、表情、头部姿势、年龄等属性，采用面部间的配对推理进行社交关系预测，实验证明我们的方法有效用于图像和视频中细粒度社交关系的学习。

    Sep, 2015

  • 自然语言引导下的视觉关系检测

    本研究提出了一种自然语言引导的框架来解决视觉关系检测任务中对象对之间关系分类的问题，并使用双向循环神经网络以及语义连接来预测参与关系的对象之间的语义连接。该方法在 Visual Relationship Detection 和 Visual Genome 数据集上取得了最佳状态，特别是在未预测关系的情况下。

    Nov, 2017

  • 电影人物间关系及互动学习

    本文提出了神经网络来学习和联合预测人物之间的互动关系及其涉及的角色，利用视觉和对话提示，通过多模态架构从中提取有意义的信息，并在 MovieGraphs 数据集上进行评估。

    Mar, 2020