利用 CNN 架构及 GAN 模型自动综合逼真的 3D 虚拟人物之肢体手势，面部表情和语音生成，同时创造出三维身体、手部和面部数据，并利用多模态的 3D 姿态估计技术和训练，实现更加自然流畅的合成动画。

Feb, 2021

本文提出了一种基于多模态上下文和对抗训练的自动生成手势模型，使用新的手势生成度量标准和主观人类评估表明，该模型优于现有的端到端生成模型。

Sep, 2020

本文提出了一种基于学习深度先验的新型 3D 手部形态综合和估计方法，其中利用了身体运动和手势之间的相关性，采用网络进行 3D 手部姿态估计训练并得到了优良的效果。

Jul, 2020

本文介绍了一种基于深度学习的模型，该模型将语音的声学和语义表示作为输入，生成关节角度旋转序列作为输出，可以产生任意节拍和语义手势。

Jan, 2020

本文提出了一种名为 HA2G 的新框架，用于语音一致的身体和手势动作的生成。HA2G 使用分层音频学习器和分层姿势推理器提取并逐层渲染全身姿势，同时基于音频文本对齐的对比学习策略提高音频表示的质量，结果表明该方法生成的共语手势更逼真，比以往方法有更高的性能表现。

Mar, 2022

ConvoFusion 是一种基于扩散的多模态手势合成方法，通过两个引导目标实现了不同条件模态（例如音频与文本）的调节和重点单词的强调，在生成单语手势和对话式手势方面都具有多用途性。

Mar, 2024

本文提出了一种新框架，可以根据语音文本和语音音频表达生成关节角度序列，经过客观和主观评估，证明了该手势生成框架对机器人和具身代理的有效性。

Sep, 2023

通过使用 Transformer 编码器对语音和骨架序列进行交叉模态和早期融合技术，本研究在协同语音手势检测方面取得了显著的性能提升，并发现模型的手势预测置信度与与手势相关的语音频率特征存在相关性。

Apr, 2024

利用大型语言模型（LLMs）适应手势分析和生成，使用 ChatGPT 作为工具建议能够实现设计师意图的上下文特定手势，并且发现 ChatGPT 可以提供不在最小训练数据中的新颖而适当的手势，从而减少繁琐的注释工作，并有潜力快速适应不同的设计意图。

Oct, 2023

我们提出了一个框架，用于生成根据对话动态姿势的真实感十足的全身虚拟人物。通过给定的语音音频，我们输出一个人的多个姿势动作可能性，包括面部、身体和手部动作。我们的方法的关键在于将向量量化的样本多样性与扩散所获得的高频细节相结合，以生成更动态、富有表现力的运动。我们使用高度逼真的虚拟人物来可视化生成的动作，能够表达姿势中的重要细微之处（如冷笑和假笑）。为了促进这项研究，我们介绍了一种首次出现的多视角对话数据集，可以进行逼真的重建。实验证明，我们的模型生成了适当且多样化的姿势动作，优于仅使用扩散或仅使用向量量化的方法。此外，我们的感知评估突出了逼真（与网格）对准确评估对话姿势中的细微运动细节的重要性。代码和数据集可在线获取。

Jan, 2024