Sep, 2023

统一手势：一种适用于多个骨架的统一手势合成模型

HTML
PDF
TL;DR基于扩散模型的语音驱动手势综合方法UnifiedGesture在多个手势数据集上进行训练，通过为不同动作捕捉标准学习潜在同胚图的重定位网络，捕捉语音和手势之间的线性关系，并通过增加多样性的离散手势单元的强化学习进一步对齐语音和手势，实验证明其在语音驱动手势生成方面优于近期的方法。
发现论文，激发创造
  • Speech2AffectiveGestures: 利用生成对抗情感表达学习合成共语手势

    本文介绍了一种基于生成对抗网络的3D姿势序列综合方法，通过合适的情感表达来综合共语上半身手势姿势。

    Jul, 2021

  • 学习层级跨模态关联以进行共同语音手势生成

    本文提出了一种名为HA2G的新框架，用于语音一致的身体和手势动作的生成。HA2G使用分层音频学习器和分层姿势推理器提取并逐层渲染全身姿势，同时基于音频文本对齐的对比学习策略提高音频表示的质量，结果表明该方法生成的共语手势更逼真，比以往方法有更高的性能表现。

    Mar, 2022

  • 音频驱动共话手势生成的扩散模型驯服

    本研究提出了 Diffusion Co-Speech Gesture（DiffGesture）框架，该框架可有效捕捉跨模态的音频到手势关联并保持时间上的一致性， 通过弥散模型的设计思路， DiffGesture 可以在质量和多样性之间进行平衡，实现了高保真的音频驱动共话手势生成。

    Mar, 2023

  • AQ-GT：一个用于共语手势合成的时间对齐和量化的GRU-Transformer

    使用生成对抗网络和量化流水线预训练局部姿态序列，为生成和重构手势提供基础，从而更准确地模拟人类运动和行为，取得了比现有方法更好的效果，并公开了数据管道和生成框架。

    May, 2023

  • EMoG：使用扩散模型合成情感共同语言三维手势

    本文提出了一种通过加入情感线索指导生成过程、将难以生成的姿态生成分解为关节相关性建模和时间动力学建模两个子问题，然后分别使用提出的JCFormer模型来明确地解决子问题的新型框架EMoG，该方法在手势合成方面表现优异，超过了以前的现有方法。

    Jun, 2023

  • C2G2：具有潜在扩散模型的可控共时手势生成

    我们提出了一种名为C2G2的可控共语手势生成框架，该框架通过捕捉时间潜变信息和应用实用的控制方法来解决现有方法中存在的训练不稳定、时间不一致、高保真度和全面性不足以及对生成手势的说话者身份和时间编辑的缺乏有效控制等问题，通过两阶段的时间依赖增强策略和说话者特定解码器生成与说话者相关的真实长度骨骼以及柔性手势生成/编辑的重新上色策略，我们在基准手势数据库上进行了大量实验，验证了我们提出的C2G2相对于几种最先进的基准效果。

    Aug, 2023

  • 基于扩散的联合文本和音频表征的共语言手势生成

    本论文描述了一个基于现有的扩散式运动合成模型为 GENEA Challenge 2023 开发的系统。我们提出了对比语言和动作预训练（CSMP）模块，该模块学习了语言和手势的联合嵌入，旨在学习这些模态之间的语义耦合关系。CSMP 模块的输出被用作扩散式手势合成模型中的条件信号，以实现语义感知的共言语手势生成。我们的参赛作品在所提交参赛作品中获得了最高的人类相似度和最高的语言适应性评分，这表明我们的系统是实现携带语义含义的类人共言语手势的一种有前途的方法。

    Sep, 2023

  • ConvoFusion: 多模态会话扩散用于同步语音手势合成

    ConvoFusion是一种基于扩散的多模态手势合成方法，通过两个引导目标实现了不同条件模态（例如音频与文本）的调节和重点单词的强调，在生成单语手势和对话式手势方面都具有多用途性。

    Mar, 2024

  • 通过运动解耦扩散模型生成共说手势视频

    本文提出了一种新的运动解耦框架来生成音频驱动的共语手势视频，通过引入非线性TPS变换和基于变压器的扩散模型，学习手势和语音之间的时序相关性，并利用优化运动选择模块生成长期连贯和一致的手势视频，最后设计了一个细节修复网络来增强视觉感知，实验结果表明我们的框架在动作和视频评估方面明显优于现有方法。

    Apr, 2024

  • CoCoGesture:在自然环境中实现一致的共同话语 3D 手势生成

    我们提出了CoCoGesture，这是一个能够从未见过的人类语音提示中实现生动多样的手势合成的新框架，通过大规模数据集和预训练模型的优化，在零样本语音转手势生成上表现优于现有方法。

    May, 2024