CVPRJun, 2021

基于几何三角化数据评估深度提升姿态模型用于 3D 啮齿动物姿态估计

PDF
TL;DR本文提出了使用 Lift-Pose 模型从单视角摄像机视图中对自由运动啮齿动物进行可靠的三维姿态估计，并评估了两种模型结构的性能。通过这项工作，我们希望为神经科学社区中广泛范围的实验和设置的自由运动啮齿动物的更健壮和多样化的行为追踪做出贡献。
laboratory animal behavior3d pose estimationlift-pose modelscamera calibrationneuroscience
发现论文，激发创造
  • 鼠类和姿态：来自未标记数据和合成先验的 2D 鼠标姿态估计

    使用合成的经验姿势先验从未标记图像中估计 2D 鼠标身体姿势的方法可以在缺少注释的情况下探测和测量动物行为，展示了对其他动物物种的潜力。

    Jul, 2023

  • 几何姿态可供性：带场景约束的三维人体姿态

    通过使用基于视觉的场景几何形状信息，我们提出了一种用于改善人体姿态估计的新颖机制：多层深度图。我们展示了这种方法可以提高 3D 姿态估计的精度。

    May, 2019

  • Animal3D: 一份全面的 3D 动物姿势和形状数据集

    提出了 Animal3D 数据集，为哺乳动物的 3D 姿态和形状估计提供了全面的数据集，实验证明跨物种的动物 3D 形状和姿态的预测仍然是一项非常具有挑战性的任务，合成预训练是提高模型性能的一种可行策略。

    Aug, 2023

  • 提升三维人体姿势估计的鲁棒性：一个基准和从嘈杂输入中学习

    当前的 3D 人体姿势估计技术虽然表现出色，但在复杂的野外视频中理解和提升它们的普适性仍然是一个开放的问题。本文聚焦于 2D 到 3D 姿势提升器的稳健性，并开发了两个基准数据集来检验视频 - based 3D 姿势提升器对包括临时遮挡、动态模糊和像素级噪声在内的一系列常见视频污染的稳健性。我们观察到现有的最先进的 3D 姿势提升器在存在污染的情况下的普适性较差，并提出了两种应对这一问题的技术。首先，我们引入了时间加性高斯噪声 (TAGN) 作为一种简单而有效的 2D 输入姿势数据增强技术。此外，为了将 2D 姿势检测器输出的置信度得分纳入考虑，我们设计了一种置信度感知的卷积 (CA-Conv) 块。通过在受损视频上广泛测试，所提出的策略不断提升了 3D 姿势提升器的稳健性，并为未来研究建立了新的基准。

    Dec, 2023

  • 使用野外动态抓取数据对单目三维狗姿态估计进行基准测试

    我们介绍了一种针对从野外单眼图像中进行 3D 犬姿势估计的新型基准分析。我们使用了一个多模态数据集 3DDogs-Lab，其中拍摄了不同品种狗在走道上奔跑的情景，并包含了来自光学标记的运动捕捉系统、RGBD 相机、IMU 以及压力垫的数据。为了解决由于光学标记的存在和有限的背景多样性使得所拍摄视频不够真实的问题，我们创建了 3DDogs-Wild，该数据集是对原数据集进行自然处理，消除了光学标记并将被拍摄对象放置在多样的环境中，提高了训练基于 RGB 图像的姿势检测器的效果。我们表明，使用 3DDogs-Wild 进行模型训练可在野外数据上实现更好的性能。此外，我们使用不同的姿势估计模型进行了详细分析，揭示了它们各自的优势和不足。我们相信我们的发现以及提供的数据集将为推进 3D 动物姿势估计提供有价值的见解。

    Jun, 2024

  • 适用于实验室动物姿态估计的变形感知非配对图像转换

    通过新的 sim2real 域转移方法，我们在未配对的图像转换框架中对外观、形状和姿势进行了显式和独立的建模，并在无需手动注释目标域的情况下，在 Drosophila melanogaster（果蝇）、Caenorhabditis elegans（蛔虫）和 Danio rerio（斑马鱼）上实现了改进的姿势估计准确性，从而捕捉神经回路编排行为的姿势。

    Jan, 2020

  • DensePose 3D：将关节物体的规范表面贴图提升到第三个维度

    本文提出了一种名为 DensePose 3D 的方法，通过弱监督机器学习从二维图像注释中实现基于单目视觉的带关节物体（例如人和动物）的三维重建，同时通过利用 Laplace-Beltrami 算子的平滑特征函数将物体分解成部分，再预测它们的运动以在 2D DensePose-like 表面注释中正确地重影，与基于非刚性结构运动的最新基线方法相比，在合成和真实数据上对人和动物进行了显著改进。

    Aug, 2021

  • 基于几何自监督的无监督三维姿态估计

    通过采用无监督学习技术，基于来自单个图像的 2D 骨架关节，我们提出了一种恢复 3D 人体姿势的方法，该方法不需要任何多视图图像数据、3D 骨架、2D-3D 点之间的对应关系或在训练过程中使用先前学习的 3D 先验知识。我们的方法采用一个 lifting 网络将 2D 关键点作为输入，并生成相应的 3D 骨架估计，其中我们通过在随机相机视点重投影修复后的 3D 骨架来产生新的 “合成” 2D 姿态。我们还训练了一个 2D 域适配器网络来扩展 2D 数据，并通过自适应正则化机制使域适应效果更好。最终，在 Human3.6M 数据集上，我们的方法对无监督三维 lifting 的改进达到了 30％，并且优于许多明确使用 3D 数据的弱监督方法。

    Apr, 2019

  • 形状推姿：任意三维物体的深度姿态估计

    我们提出了一种完全通用的深度姿态估计方法，通过动态条件姿态估计和目标物体的 3D 模型表示相结合，能够对不属于预定义类别的自然实体进行训练并将其推广到全新类型的 3D 对象。

    Jun, 2019

  • 使用从监控记录中重建的 3D 骨架进行马行为预测建模

    本文介绍了一种从 4 个同时监控相机录制的视频中重建马的 3D 姿势的管道，该管道包括训练 2D 无标记姿势估计模型，然后将其应用于视频并执行三角测量。通过数值评估结果（误差分析），以及展示所实现姿势在所选行为预测的下游任务中的实用性，本文证明了模型的准确性。而对于马的预测模型的分析显示出对于疼痛诱发马存在偏见，这与我们对于疼痛和健康主体行为变化的理解是一致的。

    Jun, 2023