- 规范化整合域:从点云中重建动态形状
我们提出了规范合并场(CanFields):一种将独立采样的时间序列点云重建为单一变形的连贯形状的方法。我们的方法通过将点云合并成一个规范形状来减少噪声和离群值的影响,并且允许我们处理缺失的区域。通过同时重构引导变形的速度场,我们保留了几何 - HR-INR: 基于事件相机的连续时空视频超分辨率
提出了一种基于 INR 的新型连续时空视频超分辨率(C-STVSR)框架,通过事件相机捕捉全局依赖性和区域运动,利用时空嵌入捕捉长期依赖性,从而提高视频分辨率和帧率。
- WheelPose: 提高轮椅使用者姿态估计性能的数据综合技术
通过数据合成管道,使用动作捕捉数据和在 Unity 游戏引擎中模拟的动作生成输出生成轮椅用户的合成数据集,进而改善轮椅用户姿态估计性能。
- SkelFormer:使用骨架转换器进行无标记的 3D 姿态和形状估计
为了多视角人体姿势和形状估计,我们介绍了 SkelFormer,一种新颖的无标记动作捕捉方法。我们的方法首先使用现成的在野外大规模训练的 2D 关键点估计器来获取 3D 关节位置。接下来,我们设计了一个基于回归的逆运动学骨骼变换器,将关节位 - 动物运动捕捉和行为分析的飞艇编队
使用空中飞艇编队对野生马进行追踪、尾随和视觉记录的系统设计和实验
- 骨架先验的双人交互增强
我们提出了一种新的深度学习方法,用于两个骨骼之间的运动增强,能够在保留两个身体之间的关键几何 / 拓扑关系的同时,生成不同身体大小和比例的接触丰富的互动的变化。我们的系统能够从相对少量的数据中有效学习,并且能够推广到截然不同的骨架尺寸。通过 - 数字画布的编排:一种艺术表演的机器学习方法
基于属性描述的艺术表演设计工具与新型机器学习模型结合,生成和可视化艺术动作,为艺术家提供直观平台,将复杂运动生成技术普及给更广泛的艺术界。
- CVPRMMVP: 一个带有视觉和压力传感器的多模态运动捕捉数据集
我们提出了一个名为 MMVP 的多模态 MoCap 数据集,其中包括视觉和压力传感器,提供了与 RGBD 观察同步的准确和密集的足底压力信号,尤其适用于形状估计、姿态拟合和全局平移跟踪。
- 智能手表和头戴式摄像头的轻量级动作捕捉
通过两个智能手表和一个头戴相机,我们提出了一种轻量级且经济实惠的动作捕捉方法,与使用六个或更多专业级 IMU 设备的现有方法相比,我们的方法更具成本效益和便利性,能够使可穿戴式动作捕捉技术普及化,实现在不同环境中的 3D 全身动作捕捉。同时 - BundleMoCap:稀疏多视角视频的高效、稳健和平滑动作捕捉
BundleMoCap 是一种基于无标记技术的高效、简洁的运动捕捉方法,通过利用局部流形平滑性假设和基于潜在关键帧的插值,能够在单个阶段中解决运动捕捉问题,提供平滑的运动效果,并且无需考虑时间平滑性目标。
- SwimXYZ:一个大规模合成游泳动作和视频数据集
运动技术在运动中扮演着越来越重要的角色,并成为运动员获益的真正竞争优势。然而,传统的动作捕捉系统昂贵且束缚。最近发展起来的基于计算机视觉的方法也在某些运动中面临困难,比如游泳,由于水中环境的限制。为了解决这个问题,我们介绍了 SwimXYZ - 噪声输入,偏差输出:平衡和实时的动作捕捉求解
运用机器学习技术解决实时光学动作捕捉系统面临的挑战,包括通过模型训练解决标记估计的噪声问题、训练数据的获取和分布问题,实现即使使用稀疏的廉价传感器仍能提供稳健的基于标记的动作捕捉;通过采用统一的表示方法,以无标记动作捕捉的进展获取所需数据; - MOVIN: 使用单个 LiDAR 的实时运动捕捉
本文介绍了使用单个激光雷达传感器进行实时动作捕捉的数据驱动生成方法 MOVIN,结合自回归条件变分自编码器 (CVAE) 模型和姿势生成器,通过学习 3D 点云与全局、局部姿势特征之间的相关性,实现了准确的 3D 全局信息和局部关节细节的预 - 将单目图像和稀疏 IMU 信号融合用于实时人体运动捕捉
将 RGB 图像与惯性信号相结合的实时人体运动捕捉方法通过双坐标策略利用不同目标的 IMU 信号进行完全探索,并引入了隐藏状态反馈机制以应对极端输入情况。定量和定性结果表明,通过精心设计的融合方法,我们的技术在全局方向和局部姿势估计上明显优 - 擴散態慣性姿態估計:從任意稀疏 IMU 配置中重建人體運動
这篇论文介绍了一种名为 “Diffusion Inertial Poser”(DiffIP)的单一扩散生成模型,能够从任意 IMU 配置实时重构人体运动。该系统具有灵活性,适用于不同的应用,且与常用的六个 IMU 配置一样准确。
- 多视角 RGB 摄像机下的太极动作捕捉和表现分析
本文提出了一种基于多视角几何和人工智能技术的太极表演捕捉和分析框架,通过运动转移对移动序列的归一化建模来实现不同人群的太极表演分析。
- 一种图神经网络方法用于时间网格混合和对应
提出了一个自主学习深度学习框架,用于在网格不对应的情况下解决网格混合问题,并使用 Red-Blue MPNN 和图神经网络识别所有权,进一步开发了一个图神经网络,使用运动捕捉数据集和人体网格设计软件,创建了一个大规模的合成数据集,结果表明该 - XFormer: 快速准确的单目三维人体捕捉
XFormer 是一种新型的人体网格和动作捕捉方法,能够仅用单目图像即可实现在普通 CPU 上的实时性能,并能够高效地训练于多种数据集,其关键在于跨模态的 transformer block。
- 真实工业任务和传统手工艺的动作捕捉基准用于人体运动分析
这篇论文利用惯性运动捕捉技术记录了工业操作者和熟练工匠在实际场景中进行的专业手势,并使用基于运动学描述符的混合随机 - 生物力学方法 Gesture Operational Model 对专家的运动进行建模和数学表示,从而精确生成人体专业姿 - CVPR基于运动捕捉的动作识别的时空网格变换器(STMT)
本文提出一种利用 Spatial-Temporal Mesh Transformer(STMT) 直接对网格序列进行建模的方法,通过使用层次 Transformer 结构和自监督任务来实现骨架表示和点云表示无法达到的以空间 - 时间域的非局