谁放出了狗?基于期望最大化的 3D 动物重建方法
该论文提出了一种名为 BARC 的新方法,该方法通过对犬种相似性的研究,解决了从单幅图像中恢复犬只 3D 形态和姿态的难题,证明了基因相似性的先验信息可以帮助弥补缺乏 3D 训练数据的不足。
Mar, 2022
我们提出了一种从单目视频中构建可动画的狗头像的方法,通过解决动物的姿态变化和外观问题,提高了基于模板的形状拟合的质量。我们的方法在 CoP3D 和 APTv2 数据集上展示了优异的结果。
Mar, 2024
我们介绍了一种针对从野外单眼图像中进行 3D 犬姿势估计的新型基准分析。我们使用了一个多模态数据集 3DDogs-Lab,其中拍摄了不同品种狗在走道上奔跑的情景,并包含了来自光学标记的运动捕捉系统、RGBD 相机、IMU 以及压力垫的数据。为了解决由于光学标记的存在和有限的背景多样性使得所拍摄视频不够真实的问题,我们创建了 3DDogs-Wild,该数据集是对原数据集进行自然处理,消除了光学标记并将被拍摄对象放置在多样的环境中,提高了训练基于 RGB 图像的姿势检测器的效果。我们表明,使用 3DDogs-Wild 进行模型训练可在野外数据上实现更好的性能。此外,我们使用不同的姿势估计模型进行了详细分析,揭示了它们各自的优势和不足。我们相信我们的发现以及提供的数据集将为推进 3D 动物姿势估计提供有价值的见解。
Jun, 2024
本文提出了一种基于 RGBD 图像的 3D 犬姿态估计方法,利用运动捕捉系统录制大量犬只的运动并生成数据集,使用堆叠沙漏网络进行 3D 关节点定位并结合形态和姿态的先验模型。我们在合成和实际 RGBD 图像上评估了模型,并将结果与以前发表的相关工作进行了比较。
Apr, 2020
系统通过机器学习前端预测 2D 关节位置,离散优化获得关节对应关系,并通过能量最小化配合 3D 模型恢复出广泛种类的四足动物的 3D 形状与运动,该系统在动物视频测试中展现出精准重建的能力。
Nov, 2018
提出了 Animal3D 数据集,为哺乳动物的 3D 姿态和形状估计提供了全面的数据集,实验证明跨物种的动物 3D 形状和姿态的预测仍然是一项非常具有挑战性的任务,合成预训练是提高模型性能的一种可行策略。
Aug, 2023
本文提出了一种利用深度神经网络进行结构化输出学习的方法,用于从单眼图像中估计 3D 人体姿势。该方法将图像和 3D 姿势作为输入,通过卷积神经网络将图像特征提取出来,并通过两个分支网络将图像特征和姿态转换为联合嵌入,然后将联合嵌入相乘得到一个分数值。通过最大间隔代价函数来联合训练联合嵌入和分数函数,实现的网络为一种特殊形式的结构化支持向量机,它是使用深度神经网络区别性地学习联合特征空间。在 Human3.6m 数据集上测试了这个框架,并与其他最近的方法进行了比较,得到了最先进的结果。最后,我们展示了图像 - 姿态嵌入空间的可视化,证明了网络已经学习到了高水平的身体方向和姿态配置。
Aug, 2015
本篇文章调查了单目三维人体网格恢复的相关任务,包括身体模型,恢复框架 / 训练目标,数据集评估指标和评测结果,并从优势和劣势方面深入分析了两种范式:优化和回归。作者希望激励研究人员的兴趣,促进该领域的研究。
Mar, 2022
研究单视图和部分遮挡视图下获取人体的密集三维重建问题,建议通过合适的三维模型参数化人体形状和姿势,学习一种多假设神经网络回归器,约束每个假设位于合理人体姿势的流形上,并且在标准 3D 人体基准和重度遮挡版本中,该方法表现出优异的处理模糊姿态恢复的性能。
Nov, 2020
本文提出了一种名为 DensePose 3D 的方法,通过弱监督机器学习从二维图像注释中实现基于单目视觉的带关节物体(例如人和动物)的三维重建,同时通过利用 Laplace-Beltrami 算子的平滑特征函数将物体分解成部分,再预测它们的运动以在 2D DensePose-like 表面注释中正确地重影,与基于非刚性结构运动的最新基线方法相比,在合成和真实数据上对人和动物进行了显著改进。
Aug, 2021