Jun, 2024

使用野外动态抓取数据对单目三维狗姿态估计进行基准测试

TL;DR我们介绍了一种针对从野外单眼图像中进行3D犬姿势估计的新型基准分析。我们使用了一个多模态数据集3DDogs-Lab,其中拍摄了不同品种狗在走道上奔跑的情景,并包含了来自光学标记的运动捕捉系统、RGBD相机、IMU以及压力垫的数据。为了解决由于光学标记的存在和有限的背景多样性使得所拍摄视频不够真实的问题,我们创建了3DDogs-Wild,该数据集是对原数据集进行自然处理,消除了光学标记并将被拍摄对象放置在多样的环境中,提高了训练基于RGB图像的姿势检测器的效果。我们表明,使用3DDogs-Wild进行模型训练可在野外数据上实现更好的性能。此外,我们使用不同的姿势估计模型进行了详细分析,揭示了它们各自的优势和不足。我们相信我们的发现以及提供的数据集将为推进3D动物姿势估计提供有价值的见解。