Aug, 2023

2023 年 GENEA 挑战赛：单一和双方情境中的手势生成模型的大规模评估

PDF
TL;DRGENEA Challenge 2023 通过对言语和动作数据集的评估，对参与的团队构建的基于言语驱动的手势生成系统进行了研究。研究聚焦于人类动作的相似性、动作的合适性以及与互动者行为的适应性，并发现虽然有些系统接近人类涉入，但大多数系统仍然远远落后于自然运动。
speech-driven gesture generationdyadic interactionmotion-capture datahuman-likeness of motionappropriateness
发现论文，激发创造
  • 基于扩散的联合文本和音频表征的共语言手势生成

    本论文描述了一个基于现有的扩散式运动合成模型为 GENEA Challenge 2023 开发的系统。我们提出了对比语言和动作预训练（CSMP）模块，该模块学习了语言和手势的联合嵌入，旨在学习这些模态之间的语义耦合关系。CSMP 模块的输出被用作扩散式手势合成模型中的条件信号，以实现语义感知的共言语手势生成。我们的参赛作品在所提交参赛作品中获得了最高的人类相似度和最高的语言适应性评分，这表明我们的系统是实现携带语义含义的类人共言语手势的一种有前途的方法。

    Sep, 2023

  • GENEA Challenge 2023 的 DiffuseStyleGesture + 参赛方案

    通过 DiffuseStyleGesture + 模型，本论文介绍了一种用于生成对话手势的非语言行为的生成和评估的解决方案。该模型利用扩散模型自动生成手势，通过音频、文本、说话者 ID 和种子手势等多种模态对隐藏空间进行映射和处理，在 GENEA Challenge 中展示了与顶尖模型相当的表现，完成了生成逼真且适合特定语音的手势的目标。

    Aug, 2023

  • GENEA 挑战赛 2022 的 ReprGesture 参赛作品

    本文介绍了 ReprGesture 的自动手势生成系统，该系统利用多模态表示学习生成包括语音节奏在内的合适的手势，并在 GENEA 挑战赛中取得了不错的成绩。

    Aug, 2022

  • 语音手势生成对话生成对话生成对话生成：机器人和具身化代理的手势生成

    本文提出了一种新框架，可以根据语音文本和语音音频表达生成关节角度序列，经过客观和主观评估，证明了该手势生成框架对机器人和具身代理的有效性。

    Sep, 2023

  • EMoG：使用扩散模型合成情感共同语言三维手势

    本文提出了一种通过加入情感线索指导生成过程、将难以生成的姿态生成分解为关节相关性建模和时间动力学建模两个子问题，然后分别使用提出的 JCFormer 模型来明确地解决子问题的新型框架 EMoG，该方法在手势合成方面表现优异，超过了以前的现有方法。

    Jun, 2023

  • 从文本、音频、说话者身份的三模态上下文生成言语手势

    本文提出了一种基于多模态上下文和对抗训练的自动生成手势模型，使用新的手势生成度量标准和主观人类评估表明，该模型优于现有的端到端生成模型。

    Sep, 2020

  • CoCoGesture: 在自然环境中实现一致的共同话语 3D 手势生成

    我们提出了 CoCoGesture，这是一个能够从未见过的人类语音提示中实现生动多样的手势合成的新框架，通过大规模数据集和预训练模型的优化，在零样本语音转手势生成上表现优于现有方法。

    May, 2024

  • 社会行为生成的二人互动建模

    人际交流模型可通过 Dyadic Interaction Modeling 生成 3D 面部动作，该模型考虑听者的非语言行为，利用编码离散潜在表示生成多样且逼真的运动。

    Mar, 2024

  • InterGen: 复杂交互下基于扩散的多人运动生成

    本文提出了一种有效的扩散性方法 InterGen，通过考虑人与人之间的交互并将其融入到运动扩散过程中，使普通用户只需使用文本指导即可自定义高质量的两人互动动作。

    Apr, 2023

  • 基于语音的手势生成输入输出特征分析

    本文提出了一种新的自动化语音驱动姿势生成框架，适用于人 - 代理交互，包括虚拟代理和机器人，并首次将表示学习应用于语音驱动姿势生成。

    Mar, 2019