Jan, 2020

适用于实验室动物姿态估计的变形感知非配对图像转换

PDF
TL;DR通过新的 sim2real 域转移方法，我们在未配对的图像转换框架中对外观、形状和姿势进行了显式和独立的建模，并在无需手动注释目标域的情况下，在 Drosophila melanogaster（果蝇）、Caenorhabditis elegans（蛔虫）和 Danio rerio（斑马鱼）上实现了改进的姿势估计准确性，从而捕捉神经回路编排行为的姿势。
发现论文，激发创造
  • 动物姿势估计的跨域适配

    本文介绍了一种利用跨域适配方法和人类姿态数据集提升多种动物物种姿态估计的方法。实验表明，该方法可以很好地利用先验知识，并取得令人信服的结果。

    Aug, 2019

  • 鼠类和姿态：来自未标记数据和合成先验的 2D 鼠标姿态估计

    使用合成的经验姿势先验从未标记图像中估计 2D 鼠标身体姿势的方法可以在缺少注释的情况下探测和测量动物行为，展示了对其他动物物种的潜力。

    Jul, 2023

  • 从合成到真实：用于动物姿态估计的无监督域适应

    本文提出了一种基于多尺度领域自适应模型以及一种在线粗到细的伪标签更新策略的方法来解决动物姿势估计中标签不足的问题，并在未见过的领域和未见过的动物类别上进行了广泛测试，取得了还不错的实验效果。

    Mar, 2021

  • 基于 Sim2real 转移学习的 3D 人体姿势估计：动作拯救

    通过提取运动信息（光流和二维关键点），我们展示了神经网络方法可以在仅使用 SURREAL 合成数据的情况下与最先进的基于真实 3D 序列训练的方法相媲美地从 3D 视角估计人体姿态。

    Jul, 2019

  • 零样板风格化三维角色非绑定姿势转移

    本文提出了一种使用非样式化虚拟人形变形训练，再通过本文中引入的半监督形状理解和隐式姿态变形模块，实现对来自其他类型非样式化形体的样式化角色的姿态转移，实现无需标注对应点的零样本学习。同时，引入了一种基于体素的测试训练过程，加强了对四足动物类别等注释罕见类别样式化人形的逼真变形。

    May, 2023

  • 从野外单张图像中的姿势引导的人类动画

    本文提出了一种新的姿态转换方法，通过使用组合神经网络，预测人的轮廓，服装标签和纹理，并在推理时利用训练有素的网络生成一个外观及其标签的统一表示，以对姿势变化做出响应，并使用背景完成外观的呈现，从而实现保留人物身份和外观，具有时间上的一致性和泛化能力。

    Dec, 2020

  • 超级动物模型：为动物行为分析预训练的即插即用模型

    SuperAnimal 是一种新的解决行为分析中 pose 估计问题的 plug-and-play 解决方案，使用深度学习技术自动提取关键点，无需人工标记，并可应用于超过 45 种物种。

    Mar, 2022

  • 主动姿态估计的领域随机化

    本文研究如何通过活动感知训练改进基于域随机化的姿态估计方法，通过移动机器人获取更精准的目标位姿信息，并展示在机器人手持物品移动、环境中参考物体移动或者摄像头在物品周围移动的多种场景下能够显著提高标准姿态估计的准确度。

    Mar, 2019

  • 自监督单张图像下的三维人体姿态估计

    本论文提出了一种新的自我监督方法，通过训练不带标签的典型姿势图像数据集和未成对的 2D 姿势数据，从而实现了从单幅图像预测 3D 人体姿势的网络映射，可用于快速应用于其他人工结构（例如动物）的姿态估计。

    Apr, 2023

  • 基于对应学习和网格细化的三维姿态转移

    该论文提出了一种对人类和动物网格控制姿势的方法，该方法通过优化传输问题建立源网格和目标网格之间的对应关系，并使用弹性实例归一化的条件归一化层来提高生成网格的质量。

    Sep, 2021