通过容积网络预测 3D 关节动画骨骼
该研究提出 RigNet:一种基于深度学习的自动化动画角色建模软件,通过输入 3D 模型可以精确预测骨骼结构和表面权重,并且可以比其他算法更好地模拟动态效果。
May, 2020
本篇研究提出了一种名为 BodyNet 的神经网络,通过直接推断体积棱柿,从而预测自然图像中的三维人体形状,同时结合三维损失和多视角重投影损失以及适当的监督,实现了性能的提升;通过将 SMPL 模型应用于网络输出,并在 SURREAL 和 Unite the People 数据集上展示了最先进的结果,证明了本方法的有效性。
Apr, 2018
本文通过开发一种基于神经技术的方法,在不假定训练数据的基础形变模型的情况下,使神经网络学习到骨架、皮肤和混合形状,并构建了一个骨骼层次结构的网络架构,利用预定义的骨骼结构使 3D 角色实现高质量的姿态相关形变,其中提出了用于改进关节区域变形质量的纠正姿势依赖形状的方法。
May, 2021
本文提出了一种基于局部身体结构表征的人体运动长期和短期预测方法 (SkelNet 和 Skel-TNet),实验证明这两种方法对于多种人体运动任务(Human3.6M 数据集和 CMU 运动捕捉数据集)有相当好的预测效果。
Feb, 2019
Neural Marionette 是一种无监督学习方法,可以从动态序列中发现骨架结构,学会生成与观察到的运动动态一致的多样化运动,无需先验知识,可泛化到多模态序列生成、两个姿势的插值和运动重新定向。
Feb, 2022
该研究提出了一种名为 Skeleton Transformer Networks 的网络框架,可以通过单张彩色图像预测出人体骨架的 3D 关节点位置和 3D 角度姿态,并从而生成蒙皮网格动画。该框架采用两步回归方法进行骨骼旋转预测,其中第一步通过考虑骨架结构回归骨骼旋转以获得初始解,第二步则基于被称为交叉热图的三维姿态表示采用热图回归器进行精细化调整。实验表明,使用该框架训练的 3D 人体姿势数据集可以在野外环境下通过单张图像准确预测出人体的 3D 姿态。
Dec, 2018
本文针对基于 RGB 图像学习三维物体表面重建的挑战性任务,通过提出拓扑保持的骨骼形状表示方法,即 SkeletonNet 设计,结合 Skeleton-Based Graph Convolutional Neural Network (SkeGCNN)和 Skeleton-Regularized Deep Implicit Surface Network(SkeDISN)模型,有效提高表面重建的性能,并在广义任务设置下取得良好效果。
Aug, 2020
本研究通过对 3D 人体姿态估计表征问题的认真研究,提出了一种方法,并且对现有的最优解的表现进行了超越,在标准测试基准中相对误差降低超过 30%,该方法包括 Convolutional Network、端到端的学习模型、从粗到细的预测方案和三维体表示。
Nov, 2016
本研究提出了一种新的方法来进行视频中的 3D 人体姿势估计。在此方法中,作者从人类骨骼解剖学中获得灵感,将任务分解为骨方向预测和骨长度预测两个子任务,以从全局信息中进行高准确性的骨长度预测。作者进一步提出了全卷积传播体系结构和新型关节位移损失,用于预测不同骨头的方向,有效地提高了模型性能。最后,作者引入了隐式关注机制,将 2D 关键点可见性分数作为额外指导加入模型,显著减少了许多具有深度模糊的挑战性姿势。经过全面的评估,证实该模型在 Human3.6M 和 MPI-INF-3DHP 数据集上的效果优于之前的最佳结果。
Feb, 2020