Mar, 2024

个性化基于视频的手部分类学：用于脊髓损伤个体的应用

PDF
TL;DR通过语义聚类自动识别晚期视频中的主要抓握类型，并利用深度学习模型创建个性化手部分类系统，为研究和临床人员提供了一种灵活和有效的手部功能分析策略。
hand functionspinal cord injuriesgrasp taxonomyegocentric videodeep learning
发现论文，激发创造
  • 一种在以自己为中心的恢复应用视频中有效且高效地检测手部的方法

    本研究提出了一种准确、高效的手部检测方法，利用现有的检测和跟踪算法相结合，结合可穿戴摄像头，有助于在患者的日常生活中，直接测量手部功能，提高脊髓损伤患者的独立生活能力。

    Aug, 2019

  • 基于层次空时建模的三维手物交互的手部中心动作优化

    我们提出了一种基于数据驱动的粗糙动作细化方法，通过手为中心的表示和建模手与物体的动态时空关系，捕捉手物互动的动态线索，并在实验证明我们的方法在性能上优于之前的方法。

    Jan, 2024

  • 握力的时空建模捕捉了机器人手动控制的熟练程度

    本文利用人工智能技术预测手动机器人控制中握力变异性。通过佩戴式无线传感器技术记录了来自个体支配和非支配手的握力，使用神经网络模型能够可靠地捕捉软件设计和硬件变化对握力的影响，该成果可在新型手术中作出贡献。

    Mar, 2023

  • 野外手部分割的分析

    本文研究了一种用于自主视角视频中手部分割的方法，通过使用 RefineNet 进行 fine-tune，得出了在具有挑战性的场景中更好的结果，并收集了两个新的数据集来支持实验结果。同时，本文展示了通过手部分割训练 CNN 模型可以提高手部活动识别的准确性。

    Mar, 2018

  • 细粒度自我中心手部 - 物体分割：数据集、模型和应用

    本文提供了一种具有像素级细分标签的 egocentric 图像数据集，其中包含 11,243 个日常活动中与对象相互作用时人手和对象的标签数据。我们引入了上下文感知的组合数据增强技术以适应分布外的 YouTube egocentric 视频，并展示了我们坚韧的手物分割模型和数据集可以作为基础工具，促进或实现手势状态分类、视频活动识别、手物交互的 3D 网格重建，以及对 egocentric 视频中的手物前景进行视频修复。

    Aug, 2022

  • 利用人手作为交互式物体理解的探针

    通过观察手在自然野外环境下的视频，本文致力于实现交互对象的理解，成功地应用这一基本原则于 EPIC-KITCHENS 数据集，从而纯粹通过观察手在自我中心视角的视频中学习状态敏感特征和对象特性。

    Dec, 2021

  • 基于人类手动演示视频的自动交互和活动识别技术及其在异常检测中的应用

    本文提出一种基于场景图，利用图像序列提取关键交互特征并编码动作模式和上下文的方法，同时引入基于事件的自动视频分割和聚类，成功地实现了识别手 - 物体和物体 - 物体交互，并匹配不同受试者执行的同一活动。

    Apr, 2023

  • 使用 2D 物体和手部姿态的自我视角人体动作识别

    本研究探索了使用二维手部姿态和物体姿态信息实现以自我为中心的动作识别的可行性，并使用最先进的基于 Transformer 的方法分类序列，并取得了 94% 的验证结果，这突出了二维手部和物体姿态信息在动作识别任务中的潜力，并为基于 3D 的方法提供了有前途的替代方案。

    Jun, 2023

  • 互联网规模下理解人类接触的双手

    本文提出了一种从互联网视频中提取手部状态信息的方法，通过收集大规模数据集并建立学习模型，该方法能够推测出手部位置、接触状态以及所接触的物体，支持 3D 网格的建模。

    Jun, 2020

  • 利用时空背景对单目 RGB 视频中的互动手部重建进行开发

    利用时空信息重建交互手部的新框架，结合时序上下文与运动平滑性的时间约束，并采用物理碰撞检测模块以实现运动可信的交互手部重建。

    Aug, 2023