从 RGBD 传感器预测犬类姿态的 RGBD-Dog

CVPRApr, 2020

从 RGBD 传感器预测犬类姿态的 RGBD-Dog

RGBD-Dog: Predicting Canine Pose from RGBD Sensors

Sinead Kearney, Wenbin Li, Martin Parsons, Kwang In Kim, Darren Cosker

TL;DR本文提出了一种基于 RGBD 图像的 3D 犬姿态估计方法，利用运动捕捉系统录制大量犬只的运动并生成数据集，使用堆叠沙漏网络进行 3D 关节点定位并结合形态和姿态的先验模型。我们在合成和实际 RGBD 图像上评估了模型，并将结果与以前发表的相关工作进行了比较。

Abstract

The automatic extraction of animal \reb{3D} pose from images without markers is of interest in a range of scientific fields. Most work to date predicts animal pose from RGB images, based on 2D labelling of joint positions. However, due to the difficult nature of obtaining training data, no ground truth dataset of 3D animal motion is available to quantitative

3d pose extraction animal pose prediction canine pose estimation rgbd images hourglass network

发现论文，激发创造

从 RGB-D 图像推断三维物体姿态

该研究旨在使用卷积神经网络检测和定位 RGB-D 场景中的物体，然后使用 3D 模型替换它们，相对于目前最先进的算法，该方法在 3D 检测任务中表现出 48％的相对改进，并且速度更快。

Feb, 2015

使用在合成 RGB-D 上训练的深度网络实现语义姿态

通过深度卷积神经网络实现室内场景理解的任务。为了克服 RGB-D 训练数据不足的问题，采用实时渲染技术生成合成室内场景，并通过迁移学习的方式使得模型能够处理具有高度挑战性的真实场景。该神经网络具备较短的运行时间，可同时估计类别、姿态和位置等参数。

Aug, 2015

RGBD 图像中的人体姿态三维估计用于机器人任务学习

利用 RGBD 图像估算 3D 人体姿态，通过关键点检测器和深度信息实现 3D 提升，在真实环境下通过学习演示框架指示服务机器人模仿人类教师的操作，超越了单眼调色板和深度姿态估计方法的性能。

Mar, 2018

使用野外动态抓取数据对单目三维狗姿态估计进行基准测试

我们介绍了一种针对从野外单眼图像中进行 3D 犬姿势估计的新型基准分析。我们使用了一个多模态数据集 3DDogs-Lab，其中拍摄了不同品种狗在走道上奔跑的情景，并包含了来自光学标记的运动捕捉系统、RGBD 相机、IMU 以及压力垫的数据。为了解决由于光学标记的存在和有限的背景多样性使得所拍摄视频不够真实的问题，我们创建了 3DDogs-Wild，该数据集是对原数据集进行自然处理，消除了光学标记并将被拍摄对象放置在多样的环境中，提高了训练基于 RGB 图像的姿势检测器的效果。我们表明，使用 3DDogs-Wild 进行模型训练可在野外数据上实现更好的性能。此外，我们使用不同的姿势估计模型进行了详细分析，揭示了它们各自的优势和不足。我们相信我们的发现以及提供的数据集将为推进 3D 动物姿势估计提供有价值的见解。

Jun, 2024

从姿势 RGBD 数据学习预测场景级隐式 3D

本文提出了使用隐式函数进行场景级别三维重建的方法，利用 RGBD 数据对三维重建进行预测，与使用网络相比具有更好的鲁棒性和更少的标注要求。

Jun, 2023

从单张 RGB 图像学习估计 3D 手部姿势

本文提出了一种通过 RGB 图像估计 3D 手部姿势的方法，使用深度学习和关键点检测方法，配合学习的 3D 关节先验，以及基于合成手模型的大规模数据集进行了实验验证。

May, 2017

野外实时 3D 手势估计的单帧 RGB 图像方法

使用单个 RGB 摄像头，结合深度学习技术和手部姿态估计技术，实时估计手部的 3D 姿态，拓展了 RGBD 传感器的应用范围。

Dec, 2017

从合成数据中学习人体姿势模型以实现鲁棒的 RGB-D 动作识别

我们提出了一种人体姿态模型，可表示与服装纹理、背景、光线条件、身体形状和摄像机视点无关的 RGB 和深度图像。通过开发一个综合训练数据的框架，我们学习了 CNN 模型并使用它们从真正的 RGB 和深度帧的人体动作视频中提取不变特征。在三个基准跨视图人体动作数据集的实验中，我们的算法在 RGB 和 RGB-D 动作识别方面明显优于现有方法。

Jul, 2017

RGBD 数据集：过去、现在和未来

本文探讨了与 RGBD 数据集有关的八个类别，并提出了一些关于其未来的方向，这有助于研究人员找到适合他们需求的数据，并考虑哪些数据集在推动计算机视觉方向上取得了成功和原因。

Apr, 2016

SSD-6D：使基于 RGB 的三维检测和 6D 位姿估计更加卓越

我们提出了一种新颖的方法，在单个快拍中从 RGB 数据中检测 3D 模型实例并估计其 6D 姿势。为此，我们扩展了流行的 SSD 范例，以涵盖完整的 6D 姿态空间，并仅在合成模型数据上进行训练。我们的方法在多个具有挑战性的数据集上竞争或超越了目前领先的 RGB-D 数据利用方法。此外，我们的方法在大约 10Hz 左右产生这些结果，速度比相关方法快多了。为了可重现性，我们公开可用我们的训练网络和检测代码。

Nov, 2017