Nov, 2023

meta4: 基于自监督文本和语音表示的语义对齐隐喻手势生成

PDF
TL;DRMETA4 是一种深度学习方法，通过从输入文本中计算图像架构来捕获其潜在的语义和隐喻意义，并生成由语音和计算图像架构驱动的隐喻手势，从而解决了先前行为生成模型在生成隐喻手势时未考虑到重要的语义信息的局限性。
image schemasmetaphoric gesturesgeneratingdeep learningsemantic meaning
发现论文，激发创造
  • 图像模式的表示学习

    通过聚类技术生成图像模式的向量表达，通过计算不同向量之间的距离创建可视化，以了解不同图像模式的相对距离。

    Jul, 2022

  • 语义手势生成器：语义感知的共语手势合成

    Semantic Gesticulator 是一个新颖的框架，旨在通过强有力的语义对应性合成伴随语音的逼真手势，通过大型语言模型的生成检索框架，有效地从动作库中检索合适的语义手势候选，以生成与语音节奏相匹配的高质量手势，通过语义对齐机制确保最终动画的自然性，证明了系统在生成节奏一致和语义明确的手势方面的稳健性。

    May, 2024

  • Gesticulator: 一个语义感知的语音驱动手势生成框架

    本文介绍了一种基于深度学习的模型，该模型将语音的声学和语义表示作为输入，生成关节角度旋转序列作为输出，可以产生任意节拍和语义手势。

    Jan, 2020

  • 基于语音的手势生成输入输出特征分析

    本文提出了一种新的自动化语音驱动姿势生成框架，适用于人 - 代理交互，包括虚拟代理和机器人，并首次将表示学习应用于语音驱动姿势生成。

    Mar, 2019

  • 从文本、音频、说话者身份的三模态上下文生成言语手势

    本文提出了一种基于多模态上下文和对抗训练的自动生成手势模型，使用新的手势生成度量标准和主观人类评估表明，该模型优于现有的端到端生成模型。

    Sep, 2020

  • 生动演讲者：走向语义感知的共同语言手势生成

    通过 LivelySpeaker 框架，我们实现了语义感知的共同语言手势生成，并提供了几个控制手段。我们的方法将任务分解为两个阶段：基于脚本的手势生成和基于音频引导的节奏细化。具体地说，基于脚本的手势生成利用预先训练的 CLIP 文本嵌入作为指导，生成与脚本高度语义对齐的手势。然后，我们设计了一个简单而有效的基于扩散的手势生成骨干，仅依赖音频信号并学习以逼真的动作作为手势。我们利用这种强大的先验知识将脚本引导的手势与音频信号相结合，尤其是在零样本设置下。我们的两阶段生成框架还能实现多种应用，例如改变手势风格，通过文本提示编辑共同语言手势，以及通过引导扩散控制语义感知和节奏对齐。大量实验证明了所提出框架相对竞争方法的优点。此外，我们的核心基于扩散的生成模型在两个基准测试中也取得了最先进的性能。代码和模型将在未来发布以促进研究。

    Sep, 2023

  • 快慢行进的变化：语音导向手势生成中的表征和后处理分析

    本文提出了一种新颖的基于语音驱动的手势生成框架，可用于虚拟代理以增强人机交互，并通过深度学习和表示学习，对不同输入输出的网络提供了客观和主观的评估以及消除运动抖动的后处理措施。

    Jul, 2020

  • 语音手势生成对话生成对话生成对话生成：机器人和具身化代理的手势生成

    本文提出了一种新框架，可以根据语音文本和语音音频表达生成关节角度序列，经过客观和主观评估，证明了该手势生成框架对机器人和具身代理的有效性。

    Sep, 2023

  • BodyFormer：基于 Transformer 的语义引导的三维身体手势合成

    提出了一种基于变分变压器的新型自动化从语音中合成的三维体手势的框架，通过学习语音和三维手势之间的映射，使用概率分布生成多样化的手势，并通过预训练方案解决数据稀缺性问题，结果显示比现有方法产生更逼真、更恰当和更多样化的身体手势。

    Sep, 2023

  • 将表征性手势融入自动生成的具身化解释并其对理解和交互质量的影响

    通过开发一个集成了拍手手势和象征性手势的虚拟解释器来研究手势对解释的影响，发现手势无法单独或与拍手手势结合使用超越基准或仅使用拍手手势的条件在理解方面的表现，但是与先前的研究相比，具身化代理显著增强了理解。

    Jun, 2024