CVPRSep, 2021

ArtiBoost: 基于在线探索和合成技术提升带有关节的三维手 - 物体姿态估计

PDF
TL;DR提出了一种名为 ArtiBoost 的轻量级在线数据增强方法，通过对合成手 - 物体配置和视点空间进行采样，可以覆盖多样的手 - 物体姿态和相机视点，并通过损失反馈和样本重新加权来自适应地丰富当前难以区分的项。该方法在几个手 - 物体基准测试上提高了性能。
hand-object pose estimationdiverse datasetsdata synthesisonline data enhancementperformance boost
发现论文，激发创造
  • HandBooster: 通过条件合成和手物交互的采样提升 3D 手部网格重建

    通过训练具有条件生成空间的扩散模型，合成多样的内容感知条件，并有目的地抽样该空间来合成有效的数据样本，实现增加数据多样性并提升三维手部网格重建性能。

    Mar, 2024

  • 手中的物品：手中通用物品的三维重建

    使用一张 RGB 图像来重建手持物品的形状，通过利用手的关节运动对物品形状的高可预测性，提出了一种基于关节运动的条件重建方法，并通过一个内隐网络来推断物品的空间形态。

    Apr, 2022

  • 基于交互时间的半监督 3D 手物姿态估计

    使用半监督学习的统一框架，通过显式的上下文推理和变换器之间的手和物体表示，估计来自单个图像的 3D 手和物体姿势，并利用大规模手 - 对象视频中的时空一致性生成伪标签作为约束条件去超越单个图像中有限的 3D 注释。

    Jun, 2021

  • 从 RGB 图像学习估计手持物体的姿态和形状

    该研究提出了一种利用卷积神经网络和图像转化模型实现手持物体姿态和形状估计的方法，并使用合成数据训练模型，获得了在真实场景与合成场景数据上预测物体姿态和形状的良好结果。

    Mar, 2019

  • HOnnotate：手部和物体姿态三维注释方法

    提出了一种用于注释手操作对象图像的 3D 姿态方法，以及使用该方法创建的数据集并开发了一种基于 RGB 图像的手姿态预测方法。

    Jul, 2019

  • 合成训练图片以提升人体三维姿势估计

    本研究旨在通过人体姿态空间的采样和真实图像纹理的提取，建立一个全自动，可扩展的方法来合成姿态注释的图像，从而为 3D 姿态估计任务提供合成培训数据，最终证明 CNNs 在合成图像上训练可以在 3D 姿态估计任务上胜过在真实照片上训练。

    Apr, 2016

  • ContactArt：学习类别级可观测物体和手势姿态的三维交互先验

    通过视觉远程操作收集数据和获取姿态估计和接触信息，提出了一种新的数据集和新的方法来学习手和动态物体姿态估计的交互先验知识。通过对数据的学习，可以提高联合手和关节物体姿态估计的性能。

    May, 2023

  • 手物交互的新视角合成与姿态估计

    利用神经渲染和姿态估计系统从稀疏视图中理解和编辑手物互动，解决高变形和遮挡问题，并实现新视角合成；通过稳定接触损失来确保手物互动过程中的稳定接触。

    Aug, 2023

  • 3D 姿态估计的特征增强网络

    本论文提出了一种特征增强网络，用于通过单张 RGB 图像估计 3D 手部姿态和 3D 全身姿态，由长短期依赖感知模块提升卷积层学习到的特征，并通过上下文一致性门对特征进行增强，经过实验验证本方法在 3D 手部姿态和 3D 全身姿态估计任务中达到了 state-of-the-art 的性能。

    Jan, 2019

  • 从单张 RGB 图像学习估计 3D 手部姿势

    本文提出了一种通过 RGB 图像估计 3D 手部姿势的方法，使用深度学习和关键点检测方法，配合学习的 3D 关节先验，以及基于合成手模型的大规模数据集进行了实验验证。

    May, 2017