Nov, 2018

大小生物之形态和动作恢复：基于视频的应用

PDF
TL;DR系统通过机器学习前端预测 2D 关节位置，离散优化获得关节对应关系，并通过能量最小化配合 3D 模型恢复出广泛种类的四足动物的 3D 形状与运动，该系统在动物视频测试中展现出精准重建的能力。
3d shape recoverymotion recoveryquadrupedsmachine learningsilhouette data
发现论文，激发创造
  • 动物头像：从日常视频重建可动画的 3D 动物

    我们提出了一种从单目视频中构建可动画的狗头像的方法，通过解决动物的姿态变化和外观问题，提高了基于模板的形状拟合的质量。我们的方法在 CoP3D 和 APTv2 数据集上展示了优异的结果。

    Mar, 2024

  • 从视频中学习三维人体动力学

    通过观察人类运动的视觉序列，我们可以轻松猜测人在过去和未来的 3D 运动。我们提出了一个可以学习人类 3D 动力学表示的框架，通过简单而有效的图像特征时间编码。在测试过程中，学习到的时空表示能够预测具有平稳性的 3D 网格。我们的模型可以从单个图像中恢复当前的 3D 网格以及它未来和过去的 3D 运动，同时也可以通过半监督学习从带有 2D 姿态标注的自然视频中学习。我们通过对来自互联网海量未标记数据的模型训练，通过已有的 2D 姿态检测器得到伪基础真值 2D 姿态，证明了我们的模型可以自举学习并在三维动作预测任务中获得最新的性能。

    Dec, 2018

  • 3D 鸟类重建：数据集、模型及来自单视角的形状恢复

    自动捕捉动物姿态正在改变我们对于神经科学和社交行为的学习，本文提出了一种模型和多视角优化方法，用于捕捉鸟类的独特形状和姿态，并引入了一个管道和实验，实现了从单个视角恢复精确的鸟类姿态的关键点、掩码、姿势和形状回归。

    Aug, 2020

  • 从 RGBD 传感器预测犬类姿态的 RGBD-Dog

    本文提出了一种基于 RGBD 图像的 3D 犬姿态估计方法，利用运动捕捉系统录制大量犬只的运动并生成数据集，使用堆叠沙漏网络进行 3D 关节点定位并结合形态和姿态的先验模型。我们在合成和实际 RGBD 图像上评估了模型，并将结果与以前发表的相关工作进行了比较。

    Apr, 2020

  • 使用骨架一致性从单目视频中重建 3D 人体运动

    MotioNet 是一种用于从单眼视频中重建 3D 人体骨骼运动的深度神经网络，通过嵌入运动先验信息的深度神经网络将 2D 关节位置序列分解为对称骨骼和与全局根位置和足接触标签相关联的 3D 关节旋转序列，并在 3D 位置上应用正向运动学，使用敌对损失确保恢复的旋转速度处于自然关节旋转曲面上的关键优势使其能够直接从训练数据中学习到自然的关节旋转。

    Jun, 2020

  • MonoCap: 基于 CNN 和几何先验的单目人体动作捕捉

    本文提出了一种新颖的方法，利用深度卷积神经网络来对 2D 关节点位置进行建模，并通过期望最大化算法来恢复 3D 几何体，从而实现了对不带标记的单个摄像头的全身人体姿态估计。

    Jan, 2017

  • 2D 动作重定向中的跨字符动作学习

    本文提出了一种新的方法，通过使用神经网络从视频中提取人体运动的高级潜在表示的方法，实现了不需要显式重建三维姿态和 / 或相机参数的不同人类表演者之间的视频捕获运动的再定向。

    May, 2019

  • Animal3D: 一份全面的 3D 动物姿势和形状数据集

    提出了 Animal3D 数据集，为哺乳动物的 3D 姿态和形状估计提供了全面的数据集，实验证明跨物种的动物 3D 形状和姿态的预测仍然是一项非常具有挑战性的任务，合成预训练是提高模型性能的一种可行策略。

    Aug, 2023

  • Ponymation：从未标记的在线视频中学习 3D 动物动作

    我们引入了 Ponymation，一种从原始、未标记的在线视频中学习生成性模型的方法，该方法不需要任何姿势注释或参数化形状模型进行训练，并且纯粹是从从互联网获得的一系列原始视频片段中学习的。

    Dec, 2023

  • 谁放出了狗？基于期望最大化的 3D 动物重建方法

    我们介绍了一种自动化的端到端方法，用于从单眼互联网图像中恢复狗的 3D 姿态和形状。

    Jul, 2020