Aug, 2019

使用图形网络从双手人类演示中学习对象 - 动作关系

PDF
TL;DR本文研究了一种针对双手人体动作的按帧分类和分割系统，通过从机器人视角获取的 RGB-D 视频数据提取符号空间物体关系来建立基于图的场景表示，并使用帧级的真实标签训练图网络分类器来预测每只手执行的动作，实验表明，这种分类器能够在不需要先前的时间动作分割的情况下，可靠地识别每只手的真实执行动作。
action recognitionhumanoid robotframe-wise classificationobject relationsgraph network classifier
发现论文，激发创造
  • 基于分层图的视频双手动作识别与描述生成方法

    将图形模型化与分层分级注意机制相结合的新型方法，提高了视频描述的精确性和完整性，通过在场景图中编码对象和动作之间的时空相互依赖性，再结合 3 级图形注意力网络构建了分层分级的注意机制，从而实现了并行生成具有不同语义复杂性的视频描述，提高了动作识别和描述的准确性。

    Oct, 2023

  • 基于人类手动演示视频的自动交互和活动识别技术及其在异常检测中的应用

    本文提出一种基于场景图，利用图像序列提取关键交互特征并编码动作模式和上下文的方法，同时引入基于事件的自动视频分割和聚类，成功地实现了识别手 - 物体和物体 - 物体交互，并匹配不同受试者执行的同一活动。

    Apr, 2023

  • 使用相对参数化方法学习机器人广义双手协调运动的 BiRP 模型 (BiRP: Learning Robot Generalized Bimanual Coordination using Relative Parameterization Method on Human Demonstration)

    本文提出了一种基于变量表示的双手协调学习方法，使用高斯混合模型来描述人体展示中最相关的协调模式，并将其推广到新任务参数中以确保时空协调。

    Jul, 2023

  • 基于 RGB-D 视频和 3D 手势姿态注释的第一人称手部动作基准测试

    本文提出了一种基于 3D 手部姿势的第一人称动态手部动作识别方法，并通过收集大量 RGB-D 视频序列对其进行了实验评估。研究结果表明，在进行动作识别时，与其他数据形式相比，手部姿态作为一种线索具有明显的优势。

    Apr, 2017

  • 基于骨架的多粒度时空图神经网络学习用于动作识别

    本文提出了一种新的基于骨架的动作分类方法，使用多层次空间时间图网络联合建模粗粒度和细粒度骨架运动模式，并采用双头图网络和跨头部通信策略来提取两个时空分辨率的特征，实验证明该方法在三个大规模数据集上取得了最先进的性能。

    Aug, 2021

  • 基于共生的图神经网络用于 3D 骨架人类动作识别和运动预测

    该论文提出了一种共生图神经网络模型来解决三维骨架动作识别和运动预测两个问题，并采用双骨图和多尺度图卷积网络提取空间和时间特征以及捕捉身体结构之间的关系，实验结果表明，该模型的表现优于现有方法。

    Oct, 2019

  • 基于部分特征的图卷积神经网络用于动作识别

    本文提出了一种基于部件图卷积网络的人体动作识别模型，该模型将骨骼图分为四个子图，并使用相对坐标和时间位移代替 3D 关节点特征，相对于使用整个骨骼图的模型，能够提高识别性能，实现了对挑战性基准数据集 NTURGB+D 和 HDM05 的骨骼动作识别的最先进水平。

    Sep, 2018

  • 操纵动作预测

    本文研究了灵巧动作的预测，使用新型的递归神经网络方法进行了行动预测并比较了人类表现，表明了算法预测灵巧行动所作用的力量的能力。

    Oct, 2016

  • 深入了解动作识别：综述

    本文全面回顾了人类动作识别领域的先驱方法和基于深度学习的方法，展望了该领域未来的新研究方向。

    May, 2016

  • 利用凝视和运动特征的意图估计，用于人机共享控制的物体操作

    使用自然注视和运动特征来预测当前动作和目标对象的一个意图估计框架，可在较拥挤的场景中在单手或双手操作时进行训练和测试，并提出了一个基于规则的模型来识别双手操作。

    Aug, 2022