audio-driven talking head generation | BriefGPT

关键词audio-driven talking head generation

搜索结果 - 6

NeRFFaceSpeech：一次性音频驱动的 3D 说话头合成基于生成先验
使用 NeRF 和生成模型的先验知识，提出了一种名为 NeRFFaceSpeech 的新方法，通过空间同步和补全缺失信息，实现了从单一图像生成具有增强的 3D 一致性的语音驱动的说话头部。
PDF2 months ago
VectorTalker: 带有渐进式矢量化的 SVG 语音生成
通过提出一种名为 VectorTalker 的可扩展矢量图形重建和动画方法，本文研究了基于音频驱动的矢量图像的说话头生成，并通过广泛的定量和定性评估实验结果证明其在矢量图形重建和音频驱动动画方面的优越性。
PDF7 months ago
VividTalk：基于 3D 混合先验模型的单次音频驱动说话头生成
提出了一个名为 VividTalk 的两阶段通用框架，用于生成具有高视觉质量的语音驱动的说话人视频，并在唇语同步、丰富的面部表情、高视觉质量等方面超越了以往的最先进作品。
PDF7 months ago
RADIO: 参考无关的配音视频合成
通过使用音频和参考特征的潜空间来调制解码器层，并结合 ViT 块强调高保真细节，我们提出了一种名为 RADIO 的框架，能够在参考图像的姿态和表情多变的情况下产生高质量的配音视频，并在与地面真实值明显偏离的情况下展现良好的同步性和鲁棒性。
PDF10 months ago
文本到视频：适用于零样本身份不可知的说话头像生成的两阶段框架
本文提出了一种新颖的两阶段框架，用于人物无关视频克隆，特别关注文本转视频生成。在第一阶段，我们利用预训练的零样本模型实现文本转语音转换。第二阶段采用音频驱动的说话人生成方法，根据第一阶段生成的音频产生引人注目的视频。该论文对不同的文本转语音
PDFa year ago
利用分离音频表示动态表情
提出一种基于声音分解学习的方法来提高音频驱动的视频生成的性能，从而使生成的视频更鲁棒。
PDF5 years ago