本文介绍了一种使用单一佩戴式鱼眼相机的自我中心全局三维人体姿势估计的新方法，通过对一系列帧进行时空优化，最小化热图投影误差，并强制执行从动作捕捉数据集学习到的局部和全局人体运动先验知识，实现了准确稳定的全局姿势，实验结果表明，我们的方法在定量和定性方面均优于现有的最先进方法。

Apr, 2021

提出一种新的方法，可以在室内和室外等各种场景下，实时地通过佩戴在头盔或虚拟现实头戴式显示器上的轻量级鱼眼立体相机，使用生成式姿势估计和基于 ConvNet 的身体部位检测器，无需标记，从而捕捉全身运动。

Dec, 2016

采用鱼眼相机进行骨骼姿态估计的实时无标记头盔运动捕捉的新方法，使用户能够在室内外和拥挤的场景中进行自由移动和交互，并创建运动捕捉的虚拟身体。

Sep, 2016

借助底部 VR 设备上安装的鱼眼相机捕捉的单目图像，使用编码器 - 解码器架构和新型多分支解码器，实现了针对自我中心 3D 人体姿势估计的解决方案，并提出了一种大规模的照片逼真的合成数据集 xR-EgoPose。这项工作在合成和实际数据集上与现有算法相比，准确率有大幅提高。

Nov, 2020

本研究中，我们探索了使用单个鱼眼相机进行自我中心的全身动作捕捉，同时估计人体和手部动作。我们提出了一种新的方法，利用 FisheyeViT 提取鱼眼图像特征，将其转换为像素对齐的 3D 热图表示以预测 3D 人体姿势。我们还整合了专用的手部检测和手部姿势估计网络以回归 3D 手部姿势。最后，我们开发了基于扩散的全身动作先验模型，以在考虑关节不确定性的同时对估计的全身动作进行优化。通过收集一个大型合成数据集 EgoWholeBody，其中包括 840,000 个高质量自我中心图像，涵盖了各种全身动作序列，我们训练了这些网络。定量和定性评估证明了我们的方法从单个自我中心相机生成高质量的全身动作估计的有效性。

Nov, 2023

使用单眼自我中心 3D 人体动作捕捉问题，该文介绍了基于事件相机和鱼眼镜头的 3D 人体动作捕捉方法，并开发了 EE3D 框架，具有高 3D 重建准确度和实时 3D 姿势更新速率。

Apr, 2024

本文提出了使用事件相机和基于 CNN 的姿态检测方法的 EventCap 方法，结合了基于模型的优化以及深度网络检测处理，以捕获高速运动细节和减少跟踪漂移。实验结果表明，该方法具有高效准确的优点，并且对于具有挑战性的照明条件具有较强的鲁棒性。

Aug, 2019

本文介绍了一种用于真实场景下的、单机位、实时运动捕捉的算法，该算法首次提出了纯物理可行、实时和无标记人类 3D 运动捕捉的算法，通过 CNN 和逆运动学步骤捕捉纯运动，进一步使用物理优化器来处理运动捕捉，实现了全局 3D 人体运动捕捉，而不出现任何不符合生物力学数据的结果。

Aug, 2020

论文提出了一种实时捕获全身人类表现的全新方法，能够通过单个 RGB 视频重建完整人类的密集、时空一致变形几何形态，通过二阶段的分析合成优化策略实现精细的人类表现捕获，并且结合了 4D 运动捕捉，利用材料区域的自动识别进行模型优化，从而实现最终的实时全身表现捕捉。

Oct, 2018

通过两个智能手表和一个头戴相机，我们提出了一种轻量级且经济实惠的动作捕捉方法，与使用六个或更多专业级 IMU 设备的现有方法相比，我们的方法更具成本效益和便利性，能够使可穿戴式动作捕捉技术普及化，实现在不同环境中的 3D 全身动作捕捉。同时，我们还引入了从头戴相机获取的 6D 头部姿势，以克服传感器输入的稀疏性和模糊性，并提出了一种跟踪和更新楼层变化来定义头部姿势的算法，以及一个多阶段的基于 Transformer 的回归模块。此外，我们还引入了利用自我中心图像的视觉线索来进一步提高动作捕捉质量并减少模糊性的新策略。我们在包括复杂的室外环境和多个个体之间的物体交互和社交互动在内的各种具有挑战性的场景中展示了我们方法的性能。

Jan, 2024