Mar, 2020

混合现实增强自我感知：自我中心臂部分割和带自动标注的数据库

PDF
TL;DR本研究旨在通过自我虚拟环境中基于深度学习的以自我为中心手臂分割技术来改善自我感知，我们提供了一个多种皮肤颜色和性别变化的自我手臂分割数据集，并与使用颜色或深度的现有方法进行了直接比较，结果表明，该数据集的适用性达到了 40% 的提高率，同时深度学习的手臂分割方法具有更强的鲁棒性。
egocentric segmentationarmsaugmented virtualitydatasetdeep learning
发现论文，激发创造
  • 混合现实中的自我中心人体分割

    本文提出一种使用语义分割网络从自我中心视频中分割人体部位的方法。方法包括使用半合成数据集和基于 ThunderNet 架构的深度学习语义分割算法，用于构建比标准虚拟化身更逼真的虚拟环境，实现对人体部位的高效分割。

    May, 2020

  • Ego2Hands：一种用于自我中心双手分割和检测的数据集

    本研究介绍了 Ego2Hands, 一种大规模 RGB-based 视角无约束手部分割 / 检测数据库和一种颜色不变合成的数据生成技术，这种技术能够创建具有大量和多样性的训练数据，并成功创造了一个评估数据集，大大超过了现有的基准，同时对最先进的手部检测算法的性能进行了系统分析。

    Nov, 2020

  • 细粒度自我中心手部 - 物体分割：数据集、模型和应用

    本文提供了一种具有像素级细分标签的 egocentric 图像数据集，其中包含 11,243 个日常活动中与对象相互作用时人手和对象的标签数据。我们引入了上下文感知的组合数据增强技术以适应分布外的 YouTube egocentric 视频，并展示了我们坚韧的手物分割模型和数据集可以作为基础工具，促进或实现手势状态分类、视频活动识别、手物交互的 3D 网格重建，以及对 egocentric 视频中的手物前景进行视频修复。

    Aug, 2022

  • 头戴式增强现实设备的自我中心手势识别

    本文提出一种基于端到端深度学习方法，采用用于识别土生土长的姿势的时间分辨率特征的循环神经网络和用于找到土手特征的自我手编码器网络，结合绿色屏幕捕获的数据扩充技术来缓解地面真实性注释问题，从而实现了土心姿势识别的问题。

    Aug, 2018

  • 野外手部分割的分析

    本文研究了一种用于自主视角视频中手部分割的方法，通过使用 RefineNet 进行 fine-tune，得出了在具有挑战性的场景中更好的结果，并收集了两个新的数据集来支持实验结果。同时，本文展示了通过手部分割训练 CNN 模型可以提高手部活动识别的准确性。

    Mar, 2018

  • 同时分割和识别：实现更精准的自我手势识别

    该论文阐述了一种基于深度神经网络的自我手势识别方法，该方法可以在 AR 和 VR 环境中直接使用。同时，该方法利用同时分割和识别的概念来识别自我手势，并在 EgoGesture 数据集上的实验表明，该方法比目前最先进的技术实现了更好的识别准确率 (96.9%)。

    Sep, 2019

  • 自我中心的三维动作目标预测

    该研究旨在从自我中心视角预测人的物体操纵行为的目标位置。他们提出了一个包含 RGB-D 和 IMU 流的大型多模态数据集，并设计了使用递归神经网络的基线方法，并进行了各种消融研究以验证其有效性，从而证明该新任务值得进一步学习。

    Mar, 2022

  • AssemblyHands: 通过 3D 手部姿态估算实现自我中心活动理解

    AssemblyHands 是一份大规模基准数据集，包括 3D 手部姿态注释和同步的自中心和非中心图像，旨在研究具有挑战性的手 - 物体交互，可应用于 3D 手部姿态的估计和行动识别任务。

    Apr, 2023

  • 自我中心 RGB-D 图像中的 3D 手势姿态检测

    本文提出一种基于深度传感器的、具有先验的手势识别系统，使用包含自我场景的光辉合成模型来生成训练数据，并在真实环境下进行测试。结果表明，该方法在单目 RGB-D 图像中的手部检测和姿态估计方面均具有最先进的性能。

    Nov, 2014

  • 2023 以自我为中心的手部姿势估计挑战的第一名解决方案技术报告：一种简洁的以自我为中心的手部姿势重建流程

    本研究报告介绍了我们在 Egocentric 3D Hand Pose Estimation 挑战赛上的工作。采用 AssemblyHands，我们使用基于 ViT 的骨干网络和简单回归器进行 3D 关键点预测，提供了强大的模型基线。我们提出了一种非模型方法，在后处理阶段合并多视图结果，以解决手 - 物体遮挡和自遮挡引起的性能下降问题。此外，我们利用测试时间增强和模型集成进一步改进了方法。我们还发现公共数据集和合理的预处理是有益的。我们的方法在测试数据集上实现了 12.21mm 的 MPJPE，并在 Egocentric 3D Hand Pose Estimation 挑战赛中获得第一名。

    Oct, 2023