MOVIN: 使用单个 LiDAR 的实时运动捕捉
本文介绍了一种仅使用少量 Kinect 传感器进行无标记动作捕捉的高效且廉价方法,通过使用最近的图像分割技术和纯合成数据进行课程学习,实现了对身体各部位的准确本地化并且无需使用显式形状模型。同时,我们介绍了一个包含约 6 百万合成深度帧的新数据集,并超过了 Berkeley MHAD 数据集的最新结果。
May, 2016
本文提出了一种新的实时方法,基于三维点云序列,采用时间上下文聚合实现动态检测和运动参数估计,可适用于自动驾驶车辆在复杂城市环境下进行安全导航,不仅可以估计车辆或行人等常见道路参与者的运动,还可推广到其他没有在训练数据中出现的物体类别,并对不同的时间上下文聚合策略进行了深入的分析,提供了我们最先进模型与 KITTI 场景流数据集上现有解决方案的比较结果。
Apr, 2020
本研究提出了一种利用强化学习、物理模拟器和稀疏传感器数据实时将人类运动重定向到具有不同骨架结构的角色的方法,并仅需要运用运动捕捉数据进行培训,同时探讨了该框架中的重要组件。
Jul, 2023
通过 DragPoser,我们引入了一种新颖基于深度学习的动作重建系统,能够精确表示难以预测和动态的即时约束,达到实时的高端效应器位置准确性,并展示出对即时约束修改的强大适应性和对各种输入配置和变更的异常适应能力。
Apr, 2024
本文提出了一种基于单目摄像头和单个 LiDAR 的方法,用于大规模场景下的 3D 多人姿态估计。通过设计一种有效的多模态融合策略,并充分利用时间信息来指导网络学习自然和连贯的人类运动,以点云的固有几何约束为自我监督,用图像上的 2D 特征点进行弱监督,无需依赖于任何 3D 姿态注释。实验结果表明了该方法的优越性和泛化能力。
Nov, 2022
本文提出了一种新的三维物体检测结构,该结构可以编码由多个连续扫描获取的 LiDAR 点云序列,并利用时空上下文实现较大的性能提升。通过短期运动感知体素编码和长期运动指导俯视图特征增强,可以对点云序列进行编码处理,结果显示,与基线方法相比,该模型在性能上显示出明显优越性,在某些三维检测类别方面表现出了最先进的性能。
Dec, 2022
本文描述了一种基于无标记人体动作捕获的三维角色动画生成系统,采用视角多样的相机捕捉人体动作信息,并通过多种技术手段计算出骨骼变换状况,从而能够高效准确地实现三维骨骼重建与实时动画生成。
Dec, 2022
AvatarPoser 是第一个仅使用用户的头部和手部运动输入来预测世界坐标中全身姿势的基于学习的方法,具有较高的准确性和实时操作速度,并能够提供支持 Metaverse 应用的全面性化虚拟人物控制和表现的实用界面。
Jul, 2022
该论文提出了一种采用基于图像合成方法生成真实图片数据集以训练 CNN 模型,用于解决 3D 人体姿态估计缺少真实数据的问题,并通过在受控环境和实境的表现表明其可行性。
Jul, 2016