Mar, 2022

超级动物模型：为动物行为分析预训练的即插即用模型

PDF
TL;DRSuperAnimal 是一种新的解决行为分析中 pose 估计问题的 plug-and-play 解决方案，使用深度学习技术自动提取关键点，无需人工标记，并可应用于超过 45 种物种。
quantificationbehavioral analysisdeep learningpose estimationsuperanimal
发现论文，激发创造
  • 基于 CNN 的视频动物行为识别与姿态估计：综述

    本研究概述了基于卷积神经网络体系结构的人类动作识别和姿态估计方法，并将其用于动物行为分类的技术进化及其架构适应性的分析。

    Jan, 2023

  • 学习自合成动物

    使用合成图像和 CAD 动物模型生成的真值，使用提出的一种新颖的一致性约束半监督学习方法进行高度可变形的动物关键点预测。

    Dec, 2019

  • 神经科学动物行为测量的深度学习工具

    本文讨论了计算机视觉的近期进展，特别是采用新的深度学习方法来实现动物行为的姿态估计，认为这些工具将快速改变实现现实世界神经科学的形势。

    Sep, 2019

  • Animal3D: 一份全面的 3D 动物姿势和形状数据集

    提出了 Animal3D 数据集，为哺乳动物的 3D 姿态和形状估计提供了全面的数据集，实验证明跨物种的动物 3D 形状和姿态的预测仍然是一项非常具有挑战性的任务，合成预训练是提高模型性能的一种可行策略。

    Aug, 2023

  • 适用于实验室动物姿态估计的变形感知非配对图像转换

    通过新的 sim2real 域转移方法，我们在未配对的图像转换框架中对外观、形状和姿势进行了显式和独立的建模，并在无需手动注释目标域的情况下，在 Drosophila melanogaster（果蝇）、Caenorhabditis elegans（蛔虫）和 Danio rerio（斑马鱼）上实现了改进的姿势估计准确性，从而捕捉神经回路编排行为的姿势。

    Jan, 2020

  • 动物姿势估计的跨域适配

    本文介绍了一种利用跨域适配方法和人类姿态数据集提升多种动物物种姿态估计的方法。实验表明，该方法可以很好地利用先验知识，并取得令人信服的结果。

    Aug, 2019

  • 动物头像：从日常视频重建可动画的 3D 动物

    我们提出了一种从单目视频中构建可动画的狗头像的方法，通过解决动物的姿态变化和外观问题，提高了基于模板的形状拟合的质量。我们的方法在 CoP3D 和 APTv2 数据集上展示了优异的结果。

    Mar, 2024

  • 动物动画：基于主体对齐的跨物种零样本视频生成

    AnimateZoo 是一个零样本扩散式视频生成器，通过主题对齐和两步处理：改进外观特征提取以捕捉身份和细节，以及通过移除尺度信息处理不同主题间的冲突，实现精确的跨物种动画生成。此方法在跨物种行动遵循任务中表现出卓越的形态适应能力，生成具有准确运动、一致外观和高保真度画面的动物动画。

    Apr, 2024

  • 半监督关键点定位

    本文介绍了一种半监督的方法，使用少量标记图像和大量未标记图像同时学习关键点热图和姿态不变的关键点表示，关键点表示的语义一致性约束加以保证，并通过特征空间将图像及其扩充副本的关键点表示紧密地联系在一起，以实现对于人类和动物身体特征点的本土化定位，并在多项基准测试中显著优于先前的方法。

    Jan, 2021

  • 利用实例分割进行自动行为分析

    利用基于实例分割的迁移学习的方法实现动物行为分析，能够跟踪多个动物并在实验室录制的视频中进行行为分析，其在动物行为分析任务中达到了人类能力水平，使用少量标记图像进行训练，可用于推进动物行为分析技术的研究和实践。

    Dec, 2023