CVPRMar, 2019

Shape2Motion：对 3D 形状的动态部件和属性进行联合分析

PDF
TL;DR针对 3D 形状的运动性分析任务，我们提出了同时进行运动部件分割和运动属性估计的联合分析方法，使用单个 3D 模型作为输入，并开发了基于深度神经网络的 Shape2Motion 算法，它包含两个网络用于移动性建议生成和移动性优化
mobility analysis3d shapesmotion segmentationmotion attribute estimationdeep neural networks
发现论文，激发创造
  • 半弱监督的物体动力学运动预测

    本文提出了一种基于图神经网络的半弱监督方法，用于解决 3D 物体动力学运动预测问题，通过对分层部分级别分割和移动部分参数之间的映射学习，在 PartNet-Mobility 数据集上进行训练，可以得到一批带有假标签的移动性信息的 3D 对象数据，并且可以进一步用于预先存在的分割的弱监督学习。

    Mar, 2023

  • 大小生物之形态和动作恢复：基于视频的应用

    系统通过机器学习前端预测 2D 关节位置，离散优化获得关节对应关系，并通过能量最小化配合 3D 模型恢复出广泛种类的四足动物的 3D 形状与运动，该系统在动物视频测试中展现出精准重建的能力。

    Nov, 2018

  • MonoCap: 基于 CNN 和几何先验的单目人体动作捕捉

    本文提出了一种新颖的方法，利用深度卷积神经网络来对 2D 关节点位置进行建模，并通过期望最大化算法来恢复 3D 几何体，从而实现了对不带标记的单个摄像头的全身人体姿态估计。

    Jan, 2017

  • 观察移动：无监督发现用于再定位关节的 3D 关节点

    通过从多个视角观察未被注释的关节的外表和结构学习，实现姿势控制和连通性的自动识别，使渲染出的物体更真实。

    Dec, 2021

  • 我们不仅仅是我们的关节：预测 3D 身体如何运动

    本文提出了一种基于稀疏表面标记预测人体运动的方法，通过 MOJO 模型生成高频成分的动画，使用 SMPL-X 模型保证解决方案符合身体的真实形态，并取得了最先进的结果。

    Dec, 2020

  • 使用独立标记捕捉每个关节的动作：三维人体姿态和形状估计

    提出一种基于 Transformer 的模型，使用三种独立的 tokens 学习人体的 3D 关节旋转，身体形状和位置信息，进而估算 SMPL 参数，从而解决单目图像或视频中 3D 人体姿态和形状估计的困难问题，并具有较好性能。

    Mar, 2023

  • 结构化预测有助于 3D 人体动作建模

    该论文提出了一个新的结构化预测层的方法，该层可通过一个连接类似于人体运动的动力链的一组小型神经网络的层次结构和损失函数的关节分解来明确地建模关节依赖性，并可以增强运动预测的性能和预测质量，而不受基础网络、关节角度表示和预测时间长度的限制，并在 AMASS 数据集上训练和测试后取得了良好的效果。

    Oct, 2019

  • 使用骨架一致性从单目视频中重建 3D 人体运动

    MotioNet 是一种用于从单眼视频中重建 3D 人体骨骼运动的深度神经网络，通过嵌入运动先验信息的深度神经网络将 2D 关节位置序列分解为对称骨骼和与全局根位置和足接触标签相关联的 3D 关节旋转序列，并在 3D 位置上应用正向运动学，使用敌对损失确保恢复的旋转速度处于自然关节旋转曲面上的关键优势使其能够直接从训练数据中学习到自然的关节旋转。

    Jun, 2020

  • 利用基于 Transformer 的融合网络探索联合动作协同性用于 3D 人体姿态估计

    提出了一种名为 Fusionformer 的方法用于 3D 人体姿态估计任务，通过引入自身轨迹模块、互相轨迹模块和全局空间时间特征以及局部关节轨迹特征的融合，最终通过姿势精炼网络来平衡 3D 投影的一致性，并在两个基准数据集上进行评估，结果表明与基线方法 poseformer 相比，在 Human3.6M 数据集上分别提高了 2.4％的 MPJPE 和 4.3％的 P-MPJPE。

    Oct, 2022

  • ShapeMaker：无监督联合形状规范化、分割、检索和变形

    通过自监督学习，本文提出了 ShapeMaker，一个统一的形状规范化、分割、检索和变形的框架，通过提取点级别的仿射不变特征来规范化对象，预测语义一致的部分分割和对应的中心，聚合特征进行形状检索，然后使用神经笼变形将目标物体与检索到的形状进行紧密拟合，实验证明 ShapeMaker 在各个任务上超过了竞争对手。

    Nov, 2023