lip-sync | BriefGPT - AI 论文速递

关键词lip-sync

搜索结果 - 7

Learn2Talk: 3D 口型学习 2D 口型
提出了一种名为 Learn2Talk 的学习框架，该框架可以通过利用 2D 说话面领域的两个专业点来构建更好的 3D 说话面网络，主要关注嘴唇同步、语音感知、音频 - 3D 动作回归网络等方面的研究。
PDF2 months ago
VividTalk：基于 3D 混合先验模型的单次音频驱动说话头生成
提出了一个名为 VividTalk 的两阶段通用框架，用于生成具有高视觉质量的语音驱动的说话人视频，并在唇语同步、丰富的面部表情、高视觉质量等方面超越了以往的最先进作品。
PDF7 months ago
StyleLipSync: 基于风格的个性化唇语视频生成
本文介绍了 StyleLipSync，这是一个基于风格的个性化唇形同步视频生成模型，可从任意音频生成与身份无关的唇形同步视频。模型通过在预先训练的 StyleGAN 的语义丰富潜空间中利用表达性嘴唇先验来生成具有任意身份的视频。与之前的唇形
PDFa year ago
基于 Transformer 的音视觉上下文利用的遮蔽唇同步预测
本文提出了一种基于 Audio-Visual Context-Aware Transformer (AV-CAT) 框架的口型同步技术，可同时利用音频和视频信息，通过设计卷积 - Transformer 混合骨干网络和基于注意力机制的融合策
PDF2 years ago
VideoReTalking: 野外环境中基于音频的人工合成视频嘴型同步技术
VideoReTalking 提供一种新的编辑现实中的人物对话视频的系统来生成高质量的、与输入音频同步的视频，其中包括三个连续的步骤：生成具有规范表情的面部视频、音频驱动的口型同步和面部增强。该系统可以处理所有三个步骤，且不需要任何用户干预
PDF2 years ago
野外语音到唇形生成只需要一个口型同步专家
研究如何 lip-sync 一个任意身份的说话面部视频以匹配目标语音片段，并使用 Wav2Lip 模型和新的评估基准，成功地在自由视频中实现了较好的 lip-sync 精度。
PDF4 years ago
语音与嘴唇的动态时间对齐
本文介绍了一种基于深度音频视觉特征的音频到视频对齐方法，通过自动化的对齐实现了音频与唇形的对应，解决了后期制作中语音与唇形不匹配的问题。
PDF6 years ago