DynaDog+T: 用于合成犬类图像生成的参数化动物模型
使用仿真环境进行数据采集和诊断的创新性研究,特别关注于犬只的步态分析。该研究利用 Blender 和 Blenderproc 库生成反映不同解剖学、环境和行为条件的合成数据集。通过图形表示和标准化以实现最佳分析,利用生成的数据集来训练机器学习算法以识别正常和异常的步态。创建了两个具有不同相机角度粒度的不同数据集,以进一步研究相机视角对模型准确性的影响。初步结果表明,这种基于仿真的方法有望通过实现更精确的数据采集和更有效的机器学习模型来推动兽医诊断的发展。通过整合合成和现实世界的患者数据,该研究为提高兽医医学的整体效果和效率奠定了坚实的基础。
Jul, 2023
本文提出了一种基于 RGBD 图像的 3D 犬姿态估计方法,利用运动捕捉系统录制大量犬只的运动并生成数据集,使用堆叠沙漏网络进行 3D 关节点定位并结合形态和姿态的先验模型。我们在合成和实际 RGBD 图像上评估了模型,并将结果与以前发表的相关工作进行了比较。
Apr, 2020
我们提出了一种从单目视频中构建可动画的狗头像的方法,通过解决动物的姿态变化和外观问题,提高了基于模板的形状拟合的质量。我们的方法在 CoP3D 和 APTv2 数据集上展示了优异的结果。
Mar, 2024
我们介绍了一种针对从野外单眼图像中进行 3D 犬姿势估计的新型基准分析。我们使用了一个多模态数据集 3DDogs-Lab,其中拍摄了不同品种狗在走道上奔跑的情景,并包含了来自光学标记的运动捕捉系统、RGBD 相机、IMU 以及压力垫的数据。为了解决由于光学标记的存在和有限的背景多样性使得所拍摄视频不够真实的问题,我们创建了 3DDogs-Wild,该数据集是对原数据集进行自然处理,消除了光学标记并将被拍摄对象放置在多样的环境中,提高了训练基于 RGB 图像的姿势检测器的效果。我们表明,使用 3DDogs-Wild 进行模型训练可在野外数据上实现更好的性能。此外,我们使用不同的姿势估计模型进行了详细分析,揭示了它们各自的优势和不足。我们相信我们的发现以及提供的数据集将为推进 3D 动物姿势估计提供有价值的见解。
Jun, 2024
使用文本到图像扩散模型指导的 3D 生成方法能够创建具有视觉吸引力的资产,我们提出了一种名为 YouDream 的方法,通过二维视图控制 3D 姿势先验来生成高质量的具备解剖学控制的动物,该方法能够生成以往的文本到 3D 生成方法不能实现的 3D 动物,并且在保持解剖一致性方面表现出色。
Jun, 2024
提出了 Animal3D 数据集,为哺乳动物的 3D 姿态和形状估计提供了全面的数据集,实验证明跨物种的动物 3D 形状和姿态的预测仍然是一项非常具有挑战性的任务,合成预训练是提高模型性能的一种可行策略。
Aug, 2023
通过 Virtual Pet 管道,我们介绍了一种解锁生成模型在沉浸式 4D 体验中潜力的方法,用于在 3D 环境中为目标动物物种建模真实多样的动作。通过利用单眼互联网视频并提取可变形 NeRF 表示前景和静态 NeRF 表示背景来规避与环境几何对齐的 3D 动作数据的有限可用性。我们展示了我们的管道的有效性,使用猫视频进行了全面的定性和定量评估,并表明在未见过的猫和室内环境中也具有多样性,为丰富的虚拟体验产生了时间上连续的 4D 输出。
Dec, 2023