Apr, 2024

动物动画：基于主体对齐的跨物种零样本视频生成

PDF
TL;DRAnimateZoo 是一个零样本扩散式视频生成器，通过主题对齐和两步处理：改进外观特征提取以捕捉身份和细节，以及通过移除尺度信息处理不同主题间的冲突，实现精确的跨物种动画生成。此方法在跨物种行动遵循任务中表现出卓越的形态适应能力，生成具有准确运动、一致外观和高保真度画面的动物动画。
cross-species animationvideo generatorsubject alignmentanimal animationshigh-quality animal video datasets
发现论文，激发创造
  • 超级动物模型：为动物行为分析预训练的即插即用模型

    SuperAnimal 是一种新的解决行为分析中 pose 估计问题的 plug-and-play 解决方案，使用深度学习技术自动提取关键点，无需人工标记，并可应用于超过 45 种物种。

    Mar, 2022

  • AnimateZero：视频扩散模型能进行零样动画生成

    通过解耦视频为特定外观与相应动作的图像动画，我们提出了 AnimateZero 来揭示预训练的文本到视频扩散模型 AnimateDiff，并为其提供更精确的外观和动作控制能力。Anima teZero 无需进一步训练即可成功控制生成进程，对于给定图像，还可以实现多种新应用，包括交互式视频生成和真实图像动画。详细实验表明，该方法在 T2V 和相关应用中具有有效性。

    Dec, 2023

  • 动物头像：从日常视频重建可动画的 3D 动物

    我们提出了一种从单目视频中构建可动画的狗头像的方法，通过解决动物的姿态变化和外观问题，提高了基于模板的形状拟合的质量。我们的方法在 CoP3D 和 APTv2 数据集上展示了优异的结果。

    Mar, 2024

  • 动物姿势估计的跨域适配

    本文介绍了一种利用跨域适配方法和人类姿态数据集提升多种动物物种姿态估计的方法。实验表明，该方法可以很好地利用先验知识，并取得令人信服的结果。

    Aug, 2019

  • ID-Animator：零槽位身份保持的人类视频生成

    提供单个人脸参考图像，无需进一步训练，ID-Animator 是一种零样本的人类视频生成方法，具有个性化视频生成能力。该方法采用面部适配器从可学习的面部潜在查询中编码与身份相关的嵌入，通过 ID 导向的数据集构建技术和随机面部参考训练方法，提高模型在身份特定视频生成方面的准确性和泛化能力，实验结果表明 ID-Animator 比之前的模型更优秀，适用于对身份保护要求很高的实际视频生成应用。

    Apr, 2024

  • PoseAnimate: 零样本高保真度姿势可控角色动画

    从单张图片生成视频序列的 PoseAnimate 是一种新颖的零样本人物动画框架，通过将多样化的姿势信号整合到条件嵌入中以保持人物独立内容并维持动作的精确对齐，增强了时序一致性、保留了人物身份特征和复杂背景细节以及通过解耦角色和背景改善动画精度。实验结果表明，该方法在人物一致性和细节保真度方面优于现有的基于训练的方法，并且在所生成动画中始终保持较高水平的时序一致性。

    Apr, 2024

  • 运动化身：生成具备任意动作的人和动物化身

    该研究论文介绍了一种基于代理的方法，名为 “Motion Avatar”，通过文本查询实现了高质量可定制的人类和动物角色的自动生成，同时引入了一个协调动作和角色生成的规划器，并提供了一个动物运动数据集，为社区提供了有价值的资源。

    May, 2024

  • UniAnimate: 统一视频扩散模型驯服一致人类形象动画

    通过引入 UniAnimate 框架，我们解决了人类图像动画技术中的两个限制，实现了高效和长期的视频生成，具备了优于现有技术的合成结果。

    Jun, 2024

  • 摄像陷阱图像中零样本动物物种识别的多模态基础模型

    通过减少对昂贵的标记数据的依赖，我们提出了一种新的零样本物种分类方法 WildMatch，该方法使用多模态基础模型，利用人们熟悉的术语生成摄像机陷阱图像的详细视觉描述，并将生成的描述与外部知识库中的描述进行匹配，以零样本的方式确定物种。我们还研究了构建详细动物描述生成的指导调优数据集的技术，并提出了一种新的知识增强技术来提高描述质量。我们在哥伦比亚 Magdalena Medio 地区的一个新的摄像机陷阱数据集上展示了 WildMatch 的性能。

    Nov, 2023

  • 适用于实验室动物姿态估计的变形感知非配对图像转换

    通过新的 sim2real 域转移方法，我们在未配对的图像转换框架中对外观、形状和姿势进行了显式和独立的建模，并在无需手动注释目标域的情况下，在 Drosophila melanogaster（果蝇）、Caenorhabditis elegans（蛔虫）和 Danio rerio（斑马鱼）上实现了改进的姿势估计准确性，从而捕捉神经回路编排行为的姿势。

    Jan, 2020