Sep, 2017

基于自我中心照片流的社交风格特征刻画

HTML
PDF
TL;DR该论文提出了一种使用可穿戴照相机实现自动社交模式刻画的系统，其中通过检测与相机佩戴者互动的人，并将检测到的社交互动分类为正式和非正式两个步骤，在事件级别上对每个潜在的社交事件进行建模，并使用LSTM网络进行时间序列分类。最终通过聚类同一个人在整个社交互动集中的出现来全面理解用户的社交关系的多样性和频率。实验表明，该系统应用于自我中心的照片流上的社交模式刻画任务取得了有望的结果。
发现论文，激发创造
  • SR-Clustering: 基于语义规范的自我中心照片流聚类分割

    该研究使用卷积神经网络提取语境和语义信息，并通过语言处理技术将其定义为概念，然后利用时间上的连续性将共享上下文和语义属性的图像组合在一起，从而实现佩戴式相机拍摄的照片流的自动语义分割，并在活动识别等方面取得了优秀的效果。

    Dec, 2015

  • 行走学习：基于自我为中心视频和上下文数据的面部属性表示学习

    本文通过追踪可穿戴相机拍摄的随机行人脸部特征，结合地理位置与天气信息，建立了适用于人脸属性分类的特征表示方法，并在多种数据集上实现了远超同类方法的准确率。

    Apr, 2016

  • 在自我中心的照片流中检测社交互动

    本文提出了一种利用鸟瞰视角下与用户的距离和方向特征识别社交互动的算法，将相应的时空序列输入长短记忆循环神经网络进行分类，并在3万张照片的数据集上进行了实验验证，取得了良好的效果。

    May, 2016

  • 社交场景理解：端到端的多人动作定位与集体活动识别

    该论文提出了使用神经网络对人类社交行为进行检测和推断的方法，并通过检测和推断的结果实现了对个体和群体行为的估计。该论文在多个公共基准测试上展示了算法的最新性能。

    Nov, 2016

  • 基于第一人称视频的社交行为预测

    本文提出了一种从篮球运动员的第一人称视频中预测其未来运动轨迹(位置和视线方向)的方法，该方法利用了第一人称视频中独特的学习信号和3D重建技术，通过Siamese神经网络和长期循环卷积网络实现了对未来运动的预测。

    Nov, 2016

  • 基于批处理的自拍照片流活动识别重访

    利用可穿戴相机的图像数据，结合卷积神经网络和递归神经网络的优点，提出了一种基于批量处理的系统来识别21种日常活动，准确率达89.85％，优于现有的端到端方法。

    Oct, 2017

  • 一种解释本地图像区域社交交互的模型

    本文研究利用小区域的可识别特征进行视觉上对社交互动的识别，并根据解释类的视觉分析方法，分析了由所提取的最小图像构成的社交互动物理素材的认知方法。

    Dec, 2017

  • 深度双重关系模型用于自我中心交互识别

    本研究提出了一种双重关系建模框架，其中包括一种新颖的交互式LSTM模块，一个参与者注意模块和一个全局-局部运动模块，以显式地建模摄像头佩戴者与交往方之间的关系，并利用此框架进行自我中心交互识别，表现出了对现有技术的优势。

    May, 2019

  • 社交互动中的身体行为：新的注释和最新评估

    本文介绍了BBSI的方法和结果，BBSI是对连续社交互动中复杂身体行为的第一个注释集，其包含了15个不同的身体语言类别，并采用四个空间-时间特征变体作为PDAN的输入来自动检测这些行为，结果表明这是一个困难的任务，但有很大改进的空间。

    Jul, 2022

  • 从社会认知角度看：上下文感知的视觉社交关系识别

    通过结合社会认知角度，该研究提出了一种新的方法，ConSoR，以从视觉中识别上下文化的社会关系，并通过多模态适配器和视觉-语言对比机制加强对决定性视觉社会因素的识别，从而在PISC数据集上实现了12.2％的提升和PIPA基准上的9.8％提高，更可靠地揭示社会关系。

    Jun, 2024