May, 2024

语义手势生成器：语义感知的共语手势合成

PDF
TL;DRSemantic Gesticulator 是一个新颖的框架，旨在通过强有力的语义对应性合成伴随语音的逼真手势，通过大型语言模型的生成检索框架，有效地从动作库中检索合适的语义手势候选，以生成与语音节奏相匹配的高质量手势，通过语义对齐机制确保最终动画的自然性，证明了系统在生成节奏一致和语义明确的手势方面的稳健性。
semantic gesticulatorsemantically meaningful gesturesdeep learning-based systemssemantic alignment mechanismhigh-quality gestures
发现论文，激发创造
  • Gesticulator: 一个语义感知的语音驱动手势生成框架

    本文介绍了一种基于深度学习的模型，该模型将语音的声学和语义表示作为输入，生成关节角度旋转序列作为输出，可以产生任意节拍和语义手势。

    Jan, 2020

  • 生动演讲者：走向语义感知的共同语言手势生成

    通过 LivelySpeaker 框架，我们实现了语义感知的共同语言手势生成，并提供了几个控制手段。我们的方法将任务分解为两个阶段：基于脚本的手势生成和基于音频引导的节奏细化。具体地说，基于脚本的手势生成利用预先训练的 CLIP 文本嵌入作为指导，生成与脚本高度语义对齐的手势。然后，我们设计了一个简单而有效的基于扩散的手势生成骨干，仅依赖音频信号并学习以逼真的动作作为手势。我们利用这种强大的先验知识将脚本引导的手势与音频信号相结合，尤其是在零样本设置下。我们的两阶段生成框架还能实现多种应用，例如改变手势风格，通过文本提示编辑共同语言手势，以及通过引导扩散控制语义感知和节奏对齐。大量实验证明了所提出框架相对竞争方法的优点。此外，我们的核心基于扩散的生成模型在两个基准测试中也取得了最先进的性能。代码和模型将在未来发布以促进研究。

    Sep, 2023

  • 节奏手势器：基于分层神经嵌入的节奏感知共同语音手势合成

    我们提出了一种新颖的共语手势合成方法，在节奏和语义上实现了令人信服的结果。我们的系统包含了一个强大的基于节奏的分割流程，以确保表达和手势之间的时间上的连贯性，以及一种机制，以有效地解开语音和运动的低层和高层神经嵌入，从而实现了节奏和语义感知的手势合成。与现有的客观指标、新提出的节奏指标和人类反馈相结合的评估表明，我们的方法在超过现有技术水平上表现出色。

    Oct, 2022

  • GesGPT: 基于 GPT 的文本解析语音姿态综合技术

    提出了一种通过 GPT 提取语义信息并利用手势库和集成模块生成与语音文本相关的语境适当和表现丰富的共同言语手势的姿态生成新方法 GesGPT。

    Mar, 2023

  • 语音手势生成对话生成对话生成对话生成：机器人和具身化代理的手势生成

    本文提出了一种新框架，可以根据语音文本和语音音频表达生成关节角度序列，经过客观和主观评估，证明了该手势生成框架对机器人和具身代理的有效性。

    Sep, 2023

  • 基于扩散的联合文本和音频表征的共语言手势生成

    本论文描述了一个基于现有的扩散式运动合成模型为 GENEA Challenge 2023 开发的系统。我们提出了对比语言和动作预训练（CSMP）模块，该模块学习了语言和手势的联合嵌入，旨在学习这些模态之间的语义耦合关系。CSMP 模块的输出被用作扩散式手势合成模型中的条件信号，以实现语义感知的共言语手势生成。我们的参赛作品在所提交参赛作品中获得了最高的人类相似度和最高的语言适应性评分，这表明我们的系统是实现携带语义含义的类人共言语手势的一种有前途的方法。

    Sep, 2023

  • BodyFormer：基于 Transformer 的语义引导的三维身体手势合成

    提出了一种基于变分变压器的新型自动化从语音中合成的三维体手势的框架，通过学习语音和三维手势之间的映射，使用概率分布生成多样化的手势，并通过预训练方案解决数据稀缺性问题，结果显示比现有方法产生更逼真、更恰当和更多样化的身体手势。

    Sep, 2023

  • 语音驱动模板：基于学习的模板实现共语手势合成

    本文提出了一种基于手势模板和语音音频的共同生成手势序列方法，使用嘴唇同步误差作为代理度量来调整和评估模型的同步能力，通过对齐生成的手势序列和语音音频的同步性评估表明该方法在保真度和同步性方面能够获得更好的客观和主观评价。

    Aug, 2021

  • ConvoFusion: 多模态会话扩散用于同步语音手势合成

    ConvoFusion 是一种基于扩散的多模态手势合成方法，通过两个引导目标实现了不同条件模态（例如音频与文本）的调节和重点单词的强调，在生成单语手势和对话式手势方面都具有多用途性。

    Mar, 2024

  • 从视频中学习基于语音的 3D 对话手势

    利用 CNN 架构及 GAN 模型自动综合逼真的 3D 虚拟人物之肢体手势，面部表情和语音生成，同时创造出三维身体、手部和面部数据，并利用多模态的 3D 姿态估计技术和训练，实现更加自然流畅的合成动画。

    Feb, 2021