Dec, 2023

虚拟宠物：在 3D 场景中生成可动物体

PDF
TL;DR通过 Virtual Pet 管道，我们介绍了一种解锁生成模型在沉浸式 4D 体验中潜力的方法，用于在 3D 环境中为目标动物物种建模真实多样的动作。通过利用单眼互联网视频并提取可变形 NeRF 表示前景和静态 NeRF 表示背景来规避与环境几何对齐的 3D 动作数据的有限可用性。我们展示了我们的管道的有效性，使用猫视频进行了全面的定性和定量评估，并表明在未见过的猫和室内环境中也具有多样性，为丰富的虚拟体验产生了时间上连续的 4D 输出。
generative modelsimmersive 4d experiencesvirtual pet3d motion modelcat videos
发现论文，激发创造
  • 动物头像：从日常视频重建可动画的 3D 动物

    我们提出了一种从单目视频中构建可动画的狗头像的方法，通过解决动物的姿态变化和外观问题，提高了基于模板的形状拟合的质量。我们的方法在 CoP3D 和 APTv2 数据集上展示了优异的结果。

    Mar, 2024

  • 运动化身：生成具备任意动作的人和动物化身

    该研究论文介绍了一种基于代理的方法，名为 “Motion Avatar”，通过文本查询实现了高质量可定制的人类和动物角色的自动生成，同时引入了一个协调动作和角色生成的规划器，并提供了一个动物运动数据集，为社区提供了有价值的资源。

    May, 2024

  • 从单目视频中神经捕捉可动画 3D 人体

    本文提出了一种基于动态神经辐射场和网格参数化三维人体模型的新方法，通过映射表征人体在不同姿势和角度的变化特征，实现了高质量渲染。

    Aug, 2022

  • Ponymation：从未标记的在线视频中学习 3D 动物动作

    我们引入了 Ponymation，一种从原始、未标记的在线视频中学习生成性模型的方法，该方法不需要任何姿势注释或参数化形状模型进行训练，并且纯粹是从从互联网获得的一系列原始视频片段中学习的。

    Dec, 2023

  • C3DAG：使用 3D 姿势指导的受控 3D 动物生成

    C3DAG 是一个新颖的姿势控制的文本到 3D 动物生成框架，通过提供高质量的 3D 模型，解决了当前方法在生成动物时存在的解剖和几何不准确的问题。

    Jun, 2024

  • 大小生物之形态和动作恢复：基于视频的应用

    系统通过机器学习前端预测 2D 关节位置，离散优化获得关节对应关系，并通过能量最小化配合 3D 模型恢复出广泛种类的四足动物的 3D 形状与运动，该系统在动物视频测试中展现出精准重建的能力。

    Nov, 2018

  • 利用模拟校准兽医医学实际数据采集

    使用仿真环境进行数据采集和诊断的创新性研究，特别关注于犬只的步态分析。该研究利用 Blender 和 Blenderproc 库生成反映不同解剖学、环境和行为条件的合成数据集。通过图形表示和标准化以实现最佳分析，利用生成的数据集来训练机器学习算法以识别正常和异常的步态。创建了两个具有不同相机角度粒度的不同数据集，以进一步研究相机视角对模型准确性的影响。初步结果表明，这种基于仿真的方法有望通过实现更精确的数据采集和更有效的机器学习模型来推动兽医诊断的发展。通过整合合成和现实世界的患者数据，该研究为提高兽医医学的整体效果和效率奠定了坚实的基础。

    Jul, 2023

  • 3D Menagerie: 模拟动物的三维形状和姿态

    该研究通过使用一个新颖的基于部件的形状模型，从玩具模型的 3D 扫描中学习了一个能表示狮子、猫、狗、马、奶牛和河马等动物形状的统计形状模型，并通过将人工智能技术运用于真实动物的图像中，证明了它的普适性。

    Nov, 2016

  • Farm3D：通过 2D 扩散提取的方法学习关节化 3D 动物

    Farm3D 是一种方法，利用 2D 扩散型图像生成器的自由虚拟监督完全学习分解对象的类别特定的 3D 重构器。

    Apr, 2023

  • 从 2D 图像学习动物的 3D 变形

    本文提出了一种基于用户标记图片和动物模板的体积变形框架，通过学习每个局部区域的硬度值，动态调整模板三维网格来实现动物变形与模拟，其优于未学习硬度值的方法，适用于高度可形变和关节灵活的动物模型。

    Jul, 2015