基于流匹配的语音和手势综合

Oct, 2023

Unified speech and gesture synthesis using flow matching

Shivam Mehta, Ruibo Tu, Simon Alexanderson, Jonas Beskow, Éva Székely...

TL;DR利用自然语言处理技术，本文提出了一种新颖的统一架构，用于联合合成语音音质和基于骨骼的3D手势运动，通过优化传输条件流匹配（OT-CFM）进行训练。与现有技术相比，所提出的架构更简单，内存占用更小，能够捕捉语音和手势的联合分布，并在一个单一过程中生成两种模态。同时，新的训练机制在比以前更少的步骤（网络评估）中实现更好的合成质量。与现有基准相比，单模态和多模态主观测试证明了改进的语音自然度、手势人类类似度和跨模态的适宜性。

Abstract

As text-to-speech technologies achieve remarkable naturalness in read-aloud tasks, there is growing interest in multimodal synthesis of verbal and non-verbal communicative behaviour, such as spontaneous speech and associated body gestures. This paper presents a novel, unified architect

发现论文，激发创造

语音驱动模板: 基于学习的模板实现共语手势合成

本文提出了一种基于手势模板和语音音频的共同生成手势序列方法，使用嘴唇同步误差作为代理度量来调整和评估模型的同步能力，通过对齐生成的手势序列和语音音频的同步性评估表明该方法在保真度和同步性方面能够获得更好的客观和主观评价。

Aug, 2021

QPGesture:自然语音驱动手势生成的基于量化和相位引导的运动匹配

介绍一种基于量化的、相位引导的运动匹配框架，该框架中使用语音量化作为情感相似性，从而更新语音和姿势之间的对齐问题，相位引导语音与动作匹配，较好地处理基于语音的手势生成。

May, 2023

Diff-TTSG: 去噪概率综合语音和手势合成

本文介绍了第一个联合学习合成语音和手势的扩散式概率模型Diff-TTSG，并提供了多种单模态和多模态主观测试来评估系统，结果表明本方法能够在小数据集上进行训练，同时提高了合成质量。

Jun, 2023

EMoG：使用扩散模型合成情感共同语言三维手势

本文提出了一种通过加入情感线索指导生成过程、将难以生成的姿态生成分解为关节相关性建模和时间动力学建模两个子问题，然后分别使用提出的JCFormer模型来明确地解决子问题的新型框架EMoG，该方法在手势合成方面表现优异，超过了以前的现有方法。

Jun, 2023

音频全能化：使用 WavLM 预训练模型的语音驱动手势合成

该研究介绍了使用WavLM预训练模型的speech-conditional diffusion-based和non-autoregressive transformer-based生成模型“diffmotion-v2”，通过原始语音音频产生个体化和风格化的全身共说手势，消除了复杂的多模态处理和手动注释的需求，实现了低级和高级音频信息的提取及语音信息与共说手势之间的关系学习。在多个数据集上进行了大量评估实验以验证WavLM和模型合成具有不同风格的自然共说手势的能力。

Aug, 2023

基于扩散的联合文本和音频表征的共语言手势生成

本论文描述了一个基于现有的扩散式运动合成模型为 GENEA Challenge 2023 开发的系统。我们提出了对比语言和动作预训练（CSMP）模块，该模块学习了语言和手势的联合嵌入，旨在学习这些模态之间的语义耦合关系。CSMP 模块的输出被用作扩散式手势合成模型中的条件信号，以实现语义感知的共言语手势生成。我们的参赛作品在所提交参赛作品中获得了最高的人类相似度和最高的语言适应性评分，这表明我们的系统是实现携带语义含义的类人共言语手势的一种有前途的方法。

Sep, 2023

统一手势：一种适用于多个骨架的统一手势合成模型

基于扩散模型的语音驱动手势综合方法UnifiedGesture在多个手势数据集上进行训练，通过为不同动作捕捉标准学习潜在同胚图的重定位网络，捕捉语音和手势之间的线性关系，并通过增加多样性的离散手势单元的强化学习进一步对齐语音和手势，实验证明其在语音驱动手势生成方面优于近期的方法。

Sep, 2023

DiffSHEG: 基于扩散的实时语音驱动全面的3D表情和手势生成

DiffSHEG是一种基于扩散的语音驱动的全面三维表情和手势生成方法，通过从表情到手势的单向信息流和扩散模型中的任意长序列生成策略，实现了高质量的同步表情和手势生成。

Jan, 2024

合成数据应对多模态语音和手势合成中的数据短缺问题

人机交互中通过文字合成语音音频和共同语音三维手势运动的方法是一个新兴的领域。本研究提出了通过合成附加训练材料的简单解决方案来解决数据短缺问题，并通过引入更好和可控的韵律建模的新合成架构来改善多模态模型的合成质量。

Apr, 2024

面部说话：从文本中联合合成说话脸部和语音

利用文本生成自然的说话面部表情和语音输出，通过将Talking Face Generation (TFG)和Text-to-Speech (TTS)系统整合到一个统一框架中，在解决头部姿态生成和声音一致性等挑战的同时，实现了高质量的运动代码生成和均匀语音输出。

May, 2024