co-speech gesture generation | BriefGPT

关键词co-speech gesture generation

搜索结果 - 7

CVPRConvoFusion: 多模态会话扩散用于同步语音手势合成
ConvoFusion 是一种基于扩散的多模态手势合成方法，通过两个引导目标实现了不同条件模态（例如音频与文本）的调节和重点单词的强调，在生成单语手势和对话式手势方面都具有多用途性。
PDF3 months ago
基于扩散的联合文本和音频表征的共语言手势生成
本论文描述了一个基于现有的扩散式运动合成模型为 GENEA Challenge 2023 开发的系统。我们提出了对比语言和动作预训练（CSMP）模块，该模块学习了语言和手势的联合嵌入，旨在学习这些模态之间的语义耦合关系。CSMP 模块的输出
PDF10 months ago
C2G2：具有潜在扩散模型的可控共时手势生成
我们提出了一种名为 C2G2 的可控共语手势生成框架，该框架通过捕捉时间潜变信息和应用实用的控制方法来解决现有方法中存在的训练不稳定、时间不一致、高保真度和全面性不足以及对生成手势的说话者身份和时间编辑的缺乏有效控制等问题，通过两阶段的时间
PDF10 months ago
EMoG：使用扩散模型合成情感共同语言三维手势
本文提出了一种通过加入情感线索指导生成过程、将难以生成的姿态生成分解为关节相关性建模和时间动力学建模两个子问题，然后分别使用提出的 JCFormer 模型来明确地解决子问题的新型框架 EMoG，该方法在手势合成方面表现优异，超过了以前的现有
PDFa year ago
MPE4G：用于共语手势生成的多模态预训练编码器
本文提出了一种基于多模态预训练编码器的共话手势生成方法，该方法通过自监督学习训练基于多头注意力的编码器以包含每种模态的信息，从而实现即使在输入模态缺失或存在噪声时，仍能生成逼真的共话手势。
PDFa year ago
CVPR学习层级跨模态关联以进行共同语音手势生成
本文提出了一种名为 HA2G 的新框架，用于语音一致的身体和手势动作的生成。HA2G 使用分层音频学习器和分层姿势推理器提取并逐层渲染全身姿势，同时基于音频文本对齐的对比学习策略提高音频表示的质量，结果表明该方法生成的共语手势更逼真，比以往
PDF2 years ago
ICCV语音驱动模板：基于学习的模板实现共语手势合成
本文提出了一种基于手势模板和语音音频的共同生成手势序列方法，使用嘴唇同步误差作为代理度量来调整和评估模型的同步能力，通过对齐生成的手势序列和语音音频的同步性评估表明该方法在保真度和同步性方面能够获得更好的客观和主观评价。
PDF3 years ago