BundleMoCap：稀疏多视角视频的高效、稳健和平滑动作捕捉

Nov, 2023

BundleMoCap：稀疏多视角视频的高效、稳健和平滑动作捕捉

BundleMoCap: Efficient, Robust and Smooth Motion Capture from Sparse Multiview Videos

Georgios Albanis, Nikolaos Zioulis, Kostas Kolomvatsos

TL;DRBundleMoCap 是一种基于无标记技术的高效、简洁的运动捕捉方法，通过利用局部流形平滑性假设和基于潜在关键帧的插值，能够在单个阶段中解决运动捕捉问题，提供平滑的运动效果，并且无需考虑时间平滑性目标。

Abstract

Capturing smooth motions from videos using markerless techniques typically involves complex processes such as temporal constraints, multiple stages with data-driven regression and optimization, and bundle solving over temporal windows. These processes can be inefficient and require tun

markerless techniques bundlemocap motion capture manifold interpolation latent keyframes

发现论文，激发创造

噪声输入，偏差输出：平衡和实时的动作捕捉求解

运用机器学习技术解决实时光学动作捕捉系统面临的挑战，包括通过模型训练解决标记估计的噪声问题、训练数据的获取和分布问题，实现即使使用稀疏的廉价传感器仍能提供稳健的基于标记的动作捕捉；通过采用统一的表示方法，以无标记动作捕捉的进展获取所需数据；通过改进的逆向运动学解决方案来考虑测量和推理的不确定性，进一步提高性能和稳健性。

Sep, 2023

HybridCap: 惯性辅助的单目捕捉具有挑战性的人体运动

本研究提出了一种名为 HybridCap 的轻量级、混合的 3D 运动捕捉技术，通过仅使用 4 个惯性测量单元的传感器，加上基于合作式门控循环单元块的层次运动推理模块和混合优化方案，可以实现对各种运动的鲁棒跟踪。

Mar, 2022

基于多视角摄像机的无标记身体运动捕捉技术用于 3D 角色动画制作

本文描述了一种基于无标记人体动作捕获的三维角色动画生成系统，采用视角多样的相机捕捉人体动作信息，并通过多种技术手段计算出骨骼变换状况，从而能够高效准确地实现三维骨骼重建与实时动画生成。

Dec, 2022

SportsCap：具挑战性运动视频中单目 3D 人体动作捕捉与细粒度理解

本论文提出了一种名为 SportsCap 的方法，利用数据驱动的多任务方式，从单眼挑战性运动视频中同时捕获 3D 人体运动和理解细粒度动作，并使用多流空间 - 时间图卷积网络预测细粒度语义动作属性，从而具有分析运动和评分的各种应用。

Apr, 2021

从单目视觉中捕捉人类表演

本研究提供了首个非标记的方法来在单目视频中实现人类的三维运动捕捉，可以重建关节骨架的运动以及一般场景中中等尺度的非刚性表面形变。通过使用卷积神经网络中的疏 2D 和 3D 人体姿势检测，以及基于低维轨迹子空间解决单目重构问题的模式，我们解决了由大范围关节运动，具有潜在快速运动和相当大的非刚性变形构成的人工能捕捉挑战。此外，我们根据完全自动提取的轮廓线提出了基于表面几何的细化方法，以实现中等规模的非刚性匹配，我们的方法实现了最先进的性能捕捉结果，在准确性，鲁棒性和可处理的场景复杂性方面明显优于先前的单目方法。

Aug, 2017

使用稀疏的多视角相机进行多个角色的性能捕捉

DeepMultiCap 是一种新颖的方法，用于使用稀疏多视角相机进行多人表演捕捉，其中结合了像素对齐的隐式函数和参数模型以实现对无形表面区域的鲁棒重建，以及有效的注意力感知模块以获取多视角图像中的细节。

May, 2021

通过扩散辅助束调整解决姿态估计问题

该研究提出了一种基于概率扩散模型的摄像机姿态估计方法，能够在解决传统方法难以处理的问题方面有所改善，并在两个真实世界数据集上取得了很好的效果。

Jun, 2023

PhysCap: 实时单目 3D 运动捕捉的物理可信解决方案

本文介绍了一种用于真实场景下的、单机位、实时运动捕捉的算法，该算法首次提出了纯物理可行、实时和无标记人类 3D 运动捕捉的算法，通过 CNN 和逆运动学步骤捕捉纯运动，进一步使用物理优化器来处理运动捕捉，实现了全局 3D 人体运动捕捉，而不出现任何不符合生物力学数据的结果。

Aug, 2020

拉拉・夏克提・斯瓦鲁普・雷，周波，苏成镐，保罗・卢科维奇

为帮助智能可穿戴设备研究人员选择最佳的动作捕捉（MoCap）的真实方法，我们提出了一个特定的基於衣物的基准测试，DrapeMoCapBench（DMCB），专门用于评估基于光学标记和无标记的 MoCap 的性能。DMCB 利用大量的真实世界记录的 MoCap 数据集并进行平行的三维物理模拟，包括六级的紧身及松弛程度、三个级别的动作和六种体型 - 性别组合，以评估基于光学标记和低成本的无标记 MoCap 方法在不同场景下的性能，并得出结论无标记 MoCap 在日常活动中稍微优于标记 MoCap，成为可穿戴研究中一种可取且具有成本效益的选择。

Jul, 2023

CasCalib：基于级联校准的来自稀疏非同步相机的动作捕捉

使用离线的 3D 姿势估计器，结合多视图线索和相机校准，自动化地获取 3D 人体姿态信息，包括时间同步和相机内外部校准，并通过将高维时间和校准空间划分为级联子空间以及引入定制算法来优化每个子空间，最终实现了易于使用、灵活且稳健的动作捕捉工具箱。

May, 2024