自我中心视频中左 / 右手分割
本文研究了一种用于自主视角视频中手部分割的方法,通过使用 RefineNet 进行 fine-tune,得出了在具有挑战性的场景中更好的结果,并收集了两个新的数据集来支持实验结果。同时,本文展示了通过手部分割训练 CNN 模型可以提高手部活动识别的准确性。
Mar, 2018
本文调查了多个已有的数据集与方法,致力于采用 'egocentric vision' 技术实现手部的定位、动作理解和人机交互,展示并提供了关于手部注释的突出数据集列表。
Dec, 2019
该论文研究了从第一人称视角获取图像和视频的发展趋势,采用图像识别和区域跟踪技术进行视觉场景中手的识别和动作的分类,表明使用区域兴趣描述视频的信息可以被依靠,来对与手有关的人体动作进行分类。
May, 2019
该研究旨在研究在第一人称视角下,如何准确识别行为。为此,提出了一种新颖的特征轨迹表示方法,并且使用所提出的方法在公开数据集上实现了 11% 的性能提升,该方法可以识别出佩戴者的各种行为,且不需要分割手 / 物体或识别物体 / 手的姿态。
Apr, 2016
本文提供了一种具有像素级细分标签的 egocentric 图像数据集,其中包含 11,243 个日常活动中与对象相互作用时人手和对象的标签数据。我们引入了上下文感知的组合数据增强技术以适应分布外的 YouTube egocentric 视频,并展示了我们坚韧的手物分割模型和数据集可以作为基础工具,促进或实现手势状态分类、视频活动识别、手物交互的 3D 网格重建,以及对 egocentric 视频中的手物前景进行视频修复。
Aug, 2022
提出了首个从单目事件摄像机中跟踪两只快速移动和互动的手的三维跟踪框架,通过新颖的半监督特征注意机制解决左右手歧义并整合相交损失来修复手的碰撞,推出了新的大规模数据集 Ev2Hands-S 和真实事件流与真实三维标注的基准数据集 Ev2Hands-R,并在强光条件下对真实数据具有更高的三维重建精度。
Dec, 2023
本研究提出了一种准确、高效的手部检测方法,利用现有的检测和跟踪算法相结合,结合可穿戴摄像头,有助于在患者的日常生活中,直接测量手部功能,提高脊髓损伤患者的独立生活能力。
Aug, 2019
通过探索 2D 手势姿态评估用于自我中心动作识别的领域,我们提出了两种新方法:EffHandNet 用于单手姿态估计和 EffHandEgoNet 用于自我视角,捕捉手部与物体之间的交互。同时,我们提出了一个从 2D 手部和物体姿态的坚固的动作识别架构。通过在 H2O 和 FPHA 数据集上的评估,我们的架构具有更快的推断时间,并且分别达到了 91.32% 和 94.43% 的精度,超越了包括基于 3D 的方法在内的最先进的技术。
Apr, 2024
本文提出一种使用语义分割网络从自我中心视频中分割人体部位的方法。方法包括使用半合成数据集和基于 ThunderNet 架构的深度学习语义分割算法,用于构建比标准虚拟化身更逼真的虚拟环境,实现对人体部位的高效分割。
May, 2020
本文提出一种基于深度传感器的、具有先验的手势识别系统,使用包含自我场景的光辉合成模型来生成训练数据,并在真实环境下进行测试。结果表明,该方法在单目 RGB-D 图像中的手部检测和姿态估计方面均具有最先进的性能。
Nov, 2014