Aug, 2023
3D-MuPPET：三维多鸽姿态估计与追踪
3D-MuPPET: 3D Multi-Pigeon Pose Estimation and Tracking
TL;DR无标记方法的动物姿势跟踪近年来得到发展，但在三维中跟踪大型动物群体的框架和基准仍然缺乏。为了弥补文献中的这一空白，我们提出了3D-MuPPET，一个使用多视图以交互速度估计和跟踪多达10只鸽子的三维姿势的框架。我们训练了一个姿势估计器来推断多只鸽子的2D关键点和边界框，然后将关键点三角化为三维。对于对应匹配，我们首先动态地将2D检测匹配到第一帧的全局身份，然后使用2D跟踪器在后续帧中保持对应关系。我们在均方根误差(RMSE)和正确关键点的百分比(PCK)方面实现了与最先进的3D姿势估计器相当的准确度。我们还展示了一个新颖的用例，即我们使用单只鸽子的数据训练的模型在包含多只鸽子的数据上提供了可比较的结果。这可以简化到新物种的领域转变，因为注释单个动物数据的工作量比多个动物数据的工作量小。此外，我们对3D-MuPPET的推断速度进行了基准测试，在2D中为每秒10帧，在3D中为每秒1.5帧，并进行了定量跟踪评估，取得了令人鼓舞的结果。最后，我们展示了3D-MuPPET在室内和室外环境中无需模型微调即可运行的能力，据我们所知，我们是首次提出在室内和室外环境中工作的2D/3D姿势和轨迹跟踪框架。