NIKI: 基于可逆神经网络的神经逆运动学方法用于 3D 人体姿态和形态估计
本文旨在解决 3D 人体姿态重建过程中的图像 - 模型不对齐问题以及深度学习算法容易预测出不真实的人体结构的问题,提出了一种名为 HybrIK 的混合逆运动解决方案,该方案通过牵转摆分解将 3D 关节点直接转化为 3D 人体网格的相对身体旋转角度,既保持了 3D 姿态的准确性,也保留了参数化人体模型的真实身体结构,有效地提高了 3D 人体姿态和形状的测量精度。
Nov, 2020
本研究提出了一个新型的 HybrIK 反向运动学解决方案,并使用扭转摆动分解将准确的三维关节点直接转换为身体部位旋转。通过混合 3D 关键点估计方法和人体网格恢复的方法,将 3D 关键点的精确性和人体模型的真实结构保留下来,为像素对齐的整体人体网格恢复提供了新思路。
Apr, 2023
介绍了 CycleIK,一种神经机器人学方法,它包含了两个新颖的神经启发式反运动学方法:生成对抗网络(GAN)和多层感知机架构。研究中展示了如何将这些方法嵌入混合神经遗传反运动学流水线中,通过顺序最小二乘规划或遗传算法进行进一步的优化。该成果表明神经模型能与最先进的反运动学方法竞争,并可直接部署到机器人硬件中,同时遗传算法的引入提高了精度并减少了运行时间。
Jul, 2023
该研究论文介绍了一种新颖的零射击运动规划方法,允许用户快速设计机器人在笛卡尔空间中平滑运动。该方法基于贝塞尔曲线的笛卡尔平面将其转化为关节空间轨迹,采用我们的神经启发式逆运动学(IK)方法 CycleIK,通过将其扩展到任意机器人设计,实现了平台独立性。该运动规划器在两个人形机器人 NICO 和 NICOL 的人机协作抓取场景中进行了评估。我们在核心上采用一个大型语言模型(LLM)作为其实体化代理,并将我们最初为 NICOL 引入的实体化代理推广到 NICO,并允许用户以口头方式指导不同的机器人执行一组离散的物理动作。我们为其动作空间贡献了一个抓取原始动作,可以精确操纵家庭物品。新的 CycleIK 方法在仿真中与流行的数值逆运动学求解器和最先进的神经逆运动学方法进行了比较,并在算法运行时间非常短的情况下表现出与或超过所有评估方法。该抓取原始动作在 NICOL 和 NICO 机器人上进行了评估,并分别报告了每个机器人的抓取成功率为 72%至 82%。
Apr, 2024
本研究提出了一种粗到细的流程来解决从单眼 RGB 图像中估计多人物 3D 姿态和形状网格的问题,并且通过 Transformer-based refinement 和克服因人与人之间的遮挡而引入的不确定性,优于现有技术,在 3DPW,MuPoTS 和 AGORA 数据集上进行广泛实验得出了实验证明。
Oct, 2022
通过将前向运动学与神经网络相结合,本研究提出了一种快速有效的方法,将图像中的二维关键点提升到三维骨架,预测关节旋转和骨长,并利用神经网络中的 FK 层与骨骼约束相结合,实现了对三维骨骼姿势的快速准确估计。在定量和定性评估中,我们证明了该方法在关节位置误差和视觉外观方面都比 MediaPipe 更准确,并且能够在不同数据集上进行泛化。基于 PyTorch 的实现仅使用 CPU,每张图像处理时间为 100-200 毫秒(包括 CNN 检测)。
Aug, 2023
本文介绍了一种利用神经网络通过传统的皮肤技术反转所经历的变形的方法,通过预计算值来提高计算效率,可以在变形时有效地查询它们,这是计算机视觉和图形学中重要的问题。
Apr, 2020
MotioNet 是一种用于从单眼视频中重建 3D 人体骨骼运动的深度神经网络,通过嵌入运动先验信息的深度神经网络将 2D 关节位置序列分解为对称骨骼和与全局根位置和足接触标签相关联的 3D 关节旋转序列,并在 3D 位置上应用正向运动学,使用敌对损失确保恢复的旋转速度处于自然关节旋转曲面上的关键优势使其能够直接从训练数据中学习到自然的关节旋转。
Jun, 2020
使用可逆神经网络来解决相机估计主题中的高计算成本问题,提供类似于当前最先进技术模型的性能,但更快速训练且只需要离线渲染低分辨率合成数据,同时还能提供输出的不确定性估计。
Apr, 2024