猎豹中释放的狂野运动：无标记的猎豹三维运动学和力量估计
本文介绍了一个包含自由奔跑的猎豹的视频数据集，称为 AcinoSet，利用这个数据集，我们可以进行无标记动物姿态估计提供 2D 关键点。我们使用 3 种不同的 3D 姿势估计方法，为 3D 姿势估计工具的开发提供了强大的基础线，并提供了 3D 轨迹，可由多个领域例如生态学、神经科学、机器人学、生物力学以及计算机视觉使用。
Mar, 2021
本篇论文提出一种端到端学习到的控制器，可为 MIT Mini Cheetah 机器猎豹在天然地形上实现最高时速 3.9m/s 的行动敏捷性，并且具有鲁棒性和抗干扰性。
May, 2022
系统通过机器学习前端预测 2D 关节位置，离散优化获得关节对应关系，并通过能量最小化配合 3D 模型恢复出广泛种类的四足动物的 3D 形状与运动，该系统在动物视频测试中展现出精准重建的能力。
Nov, 2018
本文提出了一种无监督方法来发现高度关节化对象（如野生老虎）的行为特征运动模式，从而实现行为视频的切分和聚类。通过分析大量顺序轨迹对的相对位移，本文发现了一种连续的运动模式，并使用运动轨迹对描述符进行聚类分析，表明该方法比现有的行为轨迹描述符表现更为优越，可将不受约束的动物视频分割成包含单个行为的时间段。
Nov, 2014
通过在动物自然环境下的图片中捕捉 Grevy 斑马的 3D 姿态、形状和纹理信息，为探究动物健康和行为提供了新的路径。该研究开发了一种新的方法，将 SMAL 动物模型与基于网络的回归管道相结合，通过训练合成图片，实现了对斑马形状和姿态的预测，为仅使用光度损失从图像学习形状空间提供了新的途径，并可用于在其他具有受限 3D 监督的情况下学习形状。具体地，该方法称为 SMALST，不仅可以预测动物的 3D 形状、姿态和纹理，而且在预测纹理图的基础上，可以无监督地优化特征。
Aug, 2019
描述了一个跟踪动物运动的自动化系统，并使用实时跟踪和多目标跟踪算法将动物的运动和行为控制与视觉反馈联系起来，以观察其神经基础，同时利用该系统测量果蝇飞行速度与视觉对比度的关系。
Jan, 2010
我们介绍了一种针对从野外单眼图像中进行 3D 犬姿势估计的新型基准分析。我们使用了一个多模态数据集 3DDogs-Lab，其中拍摄了不同品种狗在走道上奔跑的情景，并包含了来自光学标记的运动捕捉系统、RGBD 相机、IMU 以及压力垫的数据。为了解决由于光学标记的存在和有限的背景多样性使得所拍摄视频不够真实的问题，我们创建了 3DDogs-Wild，该数据集是对原数据集进行自然处理，消除了光学标记并将被拍摄对象放置在多样的环境中，提高了训练基于 RGB 图像的姿势检测器的效果。我们表明，使用 3DDogs-Wild 进行模型训练可在野外数据上实现更好的性能。此外，我们使用不同的姿势估计模型进行了详细分析，揭示了它们各自的优势和不足。我们相信我们的发现以及提供的数据集将为推进 3D 动物姿势估计提供有价值的见解。
Jun, 2024
无标记方法的动物姿势跟踪近年来得到发展，但在三维中跟踪大型动物群体的框架和基准仍然缺乏。为了弥补文献中的这一空白，我们提出了 3D-MuPPET，一个使用多视图以交互速度估计和跟踪多达 10 只鸽子的三维姿势的框架。我们训练了一个姿势估计器来推断多只鸽子的 2D 关键点和边界框，然后将关键点三角化为三维。对于对应匹配，我们首先动态地将 2D 检测匹配到第一帧的全局身份，然后使用 2D 跟踪器在后续帧中保持对应关系。我们在均方根误差 (RMSE) 和正确关键点的百分比 (PCK) 方面实现了与最先进的 3D 姿势估计器相当的准确度。我们还展示了一个新颖的用例，即我们使用单只鸽子的数据训练的模型在包含多只鸽子的数据上提供了可比较的结果。这可以简化到新物种的领域转变，因为注释单个动物数据的工作量比多个动物数据的工作量小。此外，我们对 3D-MuPPET 的推断速度进行了基准测试，在 2D 中为每秒 10 帧，在 3D 中为每秒 1.5 帧，并进行了定量跟踪评估，取得了令人鼓舞的结果。最后，我们展示了 3D-MuPPET 在室内和室外环境中无需模型微调即可运行的能力，据我们所知，我们是首次提出在室内和室外环境中工作的 2D/3D 姿势和轨迹跟踪框架。
Aug, 2023
我们提出了一种从单目视频中构建可动画的狗头像的方法，通过解决动物的姿态变化和外观问题，提高了基于模板的形状拟合的质量。我们的方法在 CoP3D 和 APTv2 数据集上展示了优异的结果。
Mar, 2024
通过 Virtual Pet 管道，我们介绍了一种解锁生成模型在沉浸式 4D 体验中潜力的方法，用于在 3D 环境中为目标动物物种建模真实多样的动作。通过利用单眼互联网视频并提取可变形 NeRF 表示前景和静态 NeRF 表示背景来规避与环境几何对齐的 3D 动作数据的有限可用性。我们展示了我们的管道的有效性，使用猫视频进行了全面的定性和定量评估，并表明在未见过的猫和室内环境中也具有多样性，为丰富的虚拟体验产生了时间上连续的 4D 输出。
Dec, 2023