Body2Hands：从对话手势身体动态中学习推断三维手部模型

Jul, 2020

Body2Hands：从对话手势身体动态中学习推断三维手部模型

Body2Hands: Learning to Infer 3D Hands from Conversational Gesture Body Dynamics

Evonne Ng, Shiry Ginosar, Trevor Darrell, Hanbyul Joo

TL;DR本文提出了一种基于学习深度先验的新型 3D 手部形态综合和估计方法，其中利用了身体运动和手势之间的相关性，采用网络进行 3D 手部姿态估计训练并得到了优良的效果。

Abstract

We propose a novel learned deep prior of body motion for 3D hand shape synthesis and estimation in the domain of conversational gestures. Our model builds upon the insight that body motion and hand gestures are strongly correlated in non-verbal communication settings. We formulate the

learned deep prior 3d hand shape synthesis conversation gestures body motion input pose estimation

发现论文，激发创造

从视频中学习基于语音的 3D 对话手势

利用 CNN 架构及 GAN 模型自动综合逼真的 3D 虚拟人物之肢体手势，面部表情和语音生成，同时创造出三维身体、手部和面部数据，并利用多模态的 3D 姿态估计技术和训练，实现更加自然流畅的合成动画。

Feb, 2021

BodyFormer：基于 Transformer 的语义引导的三维身体手势合成

提出了一种基于变分变压器的新型自动化从语音中合成的三维体手势的框架，通过学习语音和三维手势之间的映射，使用概率分布生成多样化的手势，并通过预训练方案解决数据稀缺性问题，结果显示比现有方法产生更逼真、更恰当和更多样化的身体手势。

Sep, 2023

HMP：从视频中估计姿态和形状的手部运动先验

通过开发一种特定于手部的生成运动先验，并采用潜在优化方法，在视频中实现了 3D 手部运动估计，提高了性能，并在遮挡情况下产生稳定、时间一致的结果，超过了传统的单帧方法。

Dec, 2023

学习个体交谈手势风格

本研究旨在对 “野外” 单个说话人的单调发言进行语音输入并生成合理的手臂动作，通过训练无标签视频并将我们的模型与基准方法进行量化比较，证明了我们提出的模型在肢体运动与语音之间的交叉模式翻译方面显着优于基准方法，并且我们发布了一个大型的视频数据集以支持研究。

Jun, 2019

利用多模态数据进行单目实时手部形状和运动捕捉

本研究提出了一种能够在 100fps 下具有最先进精度的单目手部形状和姿态估计新方法，它采用的是一种新的基于学习的架构设计，使其能够利用三维或二维标注图像数据以及独立的三维动画等所有可用的手部训练数据。该方法的输出使其更适用于计算机视觉和图形学领域中的应用，并且在数个具有挑战性的基准测试中取得了显著的定量和定性改善。

Mar, 2020

BOTH2Hands: 从文本提示和身体动力学推断三维手部姿态

提出了用于生成双手动作的新型多模态数据集 BOTH57M，包括准确的人体和手部动作跟踪、手指级别的手部标注和身体描述。使用两个并行的身体到手部和文本到手部扩散模型，通过交叉注意力变换器实现动作融合，从混合的身体和文本条件中生成令人信服的双手动作。将数据集和源代码提供给社区进行未来研究。

Dec, 2023

深入学习手势姿态估计

本文研究使用卷积神经网络结构，预测手的三维关节位置，并通过引入关节先验和有效利用上下文来提高方案的预测精确性和可靠性，在多个基准测试中都表现出了远胜于现有技术的高精度和较快的计算时间。

Feb, 2015

通过双手解耦进行身体动力学生成的多样化三维手势预测

本文介绍一种新型双手解缠的两阶段三维手势生成方法，以从身体动态中实现自然且多样化的三维手势预测，并通过渐进式采样进一步多样化手势预测。

Mar, 2023

野外图像中的三维手部形状和姿态

利用先前计算好的人工建模和先验知识，结合深度学习的方法实现了从 RGB 图像中预测手部形状和姿态，结果显示出在标准基准测试中表现出最新颖的 3D 姿态预测效果，同时在弱监督下训练的模型也能够很好的应用于在实际环境中的 3D 形状和姿态预测。

Feb, 2019

从视频中学习三维人体动力学

通过观察人类运动的视觉序列，我们可以轻松猜测人在过去和未来的 3D 运动。我们提出了一个可以学习人类 3D 动力学表示的框架，通过简单而有效的图像特征时间编码。在测试过程中，学习到的时空表示能够预测具有平稳性的 3D 网格。我们的模型可以从单个图像中恢复当前的 3D 网格以及它未来和过去的 3D 运动，同时也可以通过半监督学习从带有 2D 姿态标注的自然视频中学习。我们通过对来自互联网海量未标记数据的模型训练，通过已有的 2D 姿态检测器得到伪基础真值 2D 姿态，证明了我们的模型可以自举学习并在三维动作预测任务中获得最新的性能。

Dec, 2018