动物头像：从日常视频重建可动画的 3D 动物
通过 Virtual Pet 管道，我们介绍了一种解锁生成模型在沉浸式 4D 体验中潜力的方法，用于在 3D 环境中为目标动物物种建模真实多样的动作。通过利用单眼互联网视频并提取可变形 NeRF 表示前景和静态 NeRF 表示背景来规避与环境几何对齐的 3D 动作数据的有限可用性。我们展示了我们的管道的有效性，使用猫视频进行了全面的定性和定量评估，并表明在未见过的猫和室内环境中也具有多样性，为丰富的虚拟体验产生了时间上连续的 4D 输出。
Dec, 2023
利用可微分渲染实现从单个视频中生成人，猫和狗等动物的可动态三维模型，并通过优化特定的骨架实现实例化，使用潜在空间正则化鼓励类别间的共享结构并同时维护实例的细节和使用三维背景模型将对象与背景分离。
May, 2023
系统通过机器学习前端预测 2D 关节位置，离散优化获得关节对应关系，并通过能量最小化配合 3D 模型恢复出广泛种类的四足动物的 3D 形状与运动，该系统在动物视频测试中展现出精准重建的能力。
Nov, 2018
提出了 Animal3D 数据集，为哺乳动物的 3D 姿态和形状估计提供了全面的数据集，实验证明跨物种的动物 3D 形状和姿态的预测仍然是一项非常具有挑战性的任务，合成预训练是提高模型性能的一种可行策略。
Aug, 2023
本文提出了一种名为 DensePose 3D 的方法，通过弱监督机器学习从二维图像注释中实现基于单目视觉的带关节物体（例如人和动物）的三维重建，同时通过利用 Laplace-Beltrami 算子的平滑特征函数将物体分解成部分，再预测它们的运动以在 2D DensePose-like 表面注释中正确地重影，与基于非刚性结构运动的最新基线方法相比，在合成和真实数据上对人和动物进行了显著改进。
Aug, 2021
使用可变形基于点的表示方法 PointAvatar，将颜色和法向量相关联，可以基于单目视频生成高质量的可动画 3D 头像，并在渲染效率和拓扑灵活性方面加强。
Dec, 2022
该研究论文介绍了一种基于代理的方法，名为 “Motion Avatar”，通过文本查询实现了高质量可定制的人类和动物角色的自动生成，同时引入了一个协调动作和角色生成的规划器，并提供了一个动物运动数据集，为社区提供了有价值的资源。
May, 2024
BANMo 是一种无需使用专门的传感器或预定义的模板形状就能从许多单目视频中建立高保真、关节式 3D 模型的方法，并将三种思想融合在一起，包括使用关节骨骼和混合皮肤的经典可变形形状模型、梯度优化的体积神经辐射场（NeRFs）和生成像素和关节模型之间对应的规范嵌入。
Dec, 2021
提出一种新的重建方法，可以学习任何物品的动画运动学链，不需要事先了解物品的形状或基础结构，能够实现直接姿势操纵，并在各种复杂的关节对象类型上获得与最先进的三维表面重建方法相当的表现。
Apr, 2023