Nov, 2016

社交场景理解：端到端的多人动作定位与集体活动识别

PDF
TL;DR该论文提出了使用神经网络对人类社交行为进行检测和推断的方法，并通过检测和推断的结果实现了对个体和群体行为的估计。该论文在多个公共基准测试上展示了算法的最新性能。
social behaviorshumanneural networkdetectiontemporal consistency
发现论文，激发创造
  • 在视频中联合学习社交群体、个体动作和子群体活动

    本文提出了一个端到端的可训练框架来解决人类活动理解中的社交任务。该框架同时分组人们，预测他们的个人行为和每个社交团体的社交活动，并提供了新的数据集注释。

    Jul, 2020

  • 流媒体视频中的自监督式多角色社交活动理解

    在这项研究中，我们提出了一种基于多演员预测学习的自监督方法，用于流媒体视频中的社交活动识别。通过使用视觉语义图结构，我们对社交互动进行建模，从而实现了关系推理，使其在具有最少标记数据的情况下具有鲁棒性表现。该方法在标准群体活动识别基准上取得了竞争性的性能，并通过三个公开可用的动作定位基准的评估证明了其可泛化到任意动作定位的能力。

    Jun, 2024

  • 全景人类活动识别

    本文提出了全景人体活动识别（PAR）问题，介绍了基于层次图神经网络的解决方法，并建立了 benchmark 数据集。实验验证了所提出问题，算法和 benchmark 的合理性和有效性。

    Mar, 2022

  • 在线动作和交互定位和预测

    本文提出了一种面向人的在线方法，用于视频中行动和互动的定位和预测。通过使用姿态估计和外观模型结合条件随机场和结构 SVM 方法，该方法可在数帧画面内准确地定位和预测动作和互动。

    Dec, 2016

  • 基于时间提案演化的精准时间动作定位

    提出了一个基于三阶段框架的行动定位方法，包括一个 Actionness 神经网络来生成初始提议，一个 Refinement 网络来进行边界调整，以及一个 Localization 网络进行精细定位回归。在 THUMOS14 基准测试中表现优异，尤其是在高 IoU 阈值下的精确定位方面表现出色，mAP@IoU=0.5 达到 34.2%。

    Apr, 2018

  • 实时 3D 人体姿态估计和动作识别的多任务深度学习

    本研究提出了一种多任务学习框架，能够同时从单眼彩色图像中估算二维或三维的人体姿态并分类人体动作。通过参数共享与关键预测部分解耦等技术，该框架能有效地处理静态图像和视频剪辑，实现了 100 帧以上的速度，并在四个数据集上显著提高了预测能力。

    Dec, 2019

  • 利用姿态、动作和外观进行动作分类和检测的串联多流网络

    本文提出了一种网络体系结构，计算和整合了人类动作识别中最重要的视觉线索：姿态，运动和原始图像，并引入了马尔科夫链模型进行融合，在 HMDB51，J-HMDB 和 NTU RGB+D 数据集上达到最先进的动作分类性能和在 UCF101 和 J-HMDB 数据集上达到最先进的时空动作定位结果。

    Apr, 2017

  • 建模时空人体轨迹结构用于动作定位

    本文提出了一种基于循环定位网络（RecLNet）的视频人类行为的时空定位方法，能够显著提高人类行为的时空定位效果，尤其在时间定位方面的改进表现较好，已在 UCF101-24 和 DALY 两个数据集上进行了评估。

    Jun, 2018

  • 社交和情境感知的人体运动和姿势预测

    本文提出了一种新的框架来处理机器人导航中预测人类动态的问题，该框架将人类运动（或轨迹）和骨骼姿态预测这两个任务统一起来，并考虑到了场景和社交上下文等多种因素，最终在两个社交数据集上表现优异。

    Jul, 2020

  • 集体活动识别的潜在嵌入

    本文提出了一种嵌入潜在变量的深度学习框架，具有关注机制，可用于在集体活动场景中捕捉更丰富的交互信息和背景信息，取得了优于现有方法的性能。

    Sep, 2017