May, 2023

基于合成数据的鲁棒性类别层次 3D 姿态估计

PDF
TL;DR本篇论文提出 SyntheticP3D 数据集和 CC3D 方法，结合这两种方法可以实现在只用 10% 的真实数据的情况下，与当前最先进的模型在物体位姿估计方面取得了可与之媲美结果，在采用 50% 的真实数据时还超越了 SOTA 模型 10.4%。
3d object posescomputer visionsynthetic dataneural mesh modelspose estimation
发现论文，激发创造
  • 基于图像合成的深度 3D 人体姿态估计

    本文提出了一种在 “野外” 环境中进行三维人体姿态估计的解决方案，通过生成大量的具有三维姿势标注的逼真合成图像，并使用这些图像对全身三维姿势进行端对端的卷积神经网络训练，成功地在受控环境（Human3.6M）中优于大多数已发表的作品，并在真实图像（LSP）中展现了有前途的结果。

    Feb, 2018

  • 合成训练图片以提升人体三维姿势估计

    本研究旨在通过人体姿态空间的采样和真实图像纹理的提取，建立一个全自动，可扩展的方法来合成姿态注释的图像，从而为 3D 姿态估计任务提供合成培训数据，最终证明 CNNs 在合成图像上训练可以在 3D 姿态估计任务上胜过在真实照片上训练。

    Apr, 2016

  • 从合成图像学习快速准确的 3D 姿态推断的特征映射

    该研究提出了一种基于合成图像的深度网络训练方法，通过使用基于 “范例” 的映射，将合成图像的特征空间映射到实际图像的特征空间中，以此用于 3D 姿态估计的预测。通过实验，该方法在 LINEMOD 数据集中实现了优于现有方法的性能表现。

    Dec, 2017

  • 家庭物品语义机器人抓取的深度物体姿态估计

    通过使用合成数据，我们提出了一种用于单个 RGB 图像的已知物体 6-DoF 姿态估计的深度神经网络训练方法，成功地跨越了所谓的现实间隙，并通过机器人进行了实时物体姿态估计，取得了与基于真实数据的深度神经网络相当的表现。

    Sep, 2018

  • 透视流聚合用于数据受限的 6D 物体姿态估计

    本文提出了一种基于合成图像或少量真实图像训练的 6D 物体位姿估计方法，使用第一网络获得粗略姿态估计后，使用第二网络预测精细的二维对应场，并推断所需的姿态纠正，该方法在显著减少合成图像与真实图像领域差异的情况下具有与需要标注真实图像训练的方法相当的性能，而在使用 20 张真实图像时，它的性能明显优于它们。

    Mar, 2022

  • 通过神经分析合成实现类别层级物体姿态估计

    本文提出了一种基于图像合成模块和基于梯度的拟合过程相结合的方法，能够通过显式地表示个别物体实例的需求，来隐式地表示整个物体类别的外观、形状和姿态，从而无需每个物体实例都有一个显式的 CAD 模型。该方法包括图像合成台阶、对应误差度量的拟合台阶和对输入参数的反向传播优化台阶，且实验证明该方法可以仅通过 2D 图像就能准确地恢复物体的方向和全姿态。

    Aug, 2020

  • 细粒度物体类别的三维姿态估计

    本文介绍了一种针对细分类别的物体姿态估计的新数据集以及一种基于 Faster/Mask R-CNN 模型的姿态估计框架，同时使用了 3D CAD 模型和 location field 来提高性能。

    Jun, 2018

  • 基于 Sim2real 转移学习的 3D 人体姿势估计：动作拯救

    通过提取运动信息（光流和二维关键点），我们展示了神经网络方法可以在仅使用 SURREAL 合成数据的情况下与最先进的基于真实 3D 序列训练的方法相媲美地从 3D 视角估计人体姿态。

    Jul, 2019

  • MoCap 引导的数据增强在野外三维姿态估计中的应用

    该论文提出了一种采用基于图像合成方法生成真实图片数据集以训练 CNN 模型，用于解决 3D 人体姿态估计缺少真实数据的问题，并通过在受控环境和实境的表现表明其可行性。

    Jul, 2016

  • 使用合成数据校准图像残留值实现基于数据的 6D 位姿跟踪

    该研究提出了一种基于数据驱动的优化方法，用于长期跟踪 6D 姿态，通过使用新颖的神经网络架构和有效的 Lie 代数 3D 方向表示法，可以同时减少域偏移，实现在虚拟数据集和真实图像上的更好表现。

    Jul, 2020