audio-visual synchronization | BriefGPT

关键词audio-visual synchronization

搜索结果 - 7

PEAVS：基于观众评分的音频视觉同步感知评估
最近在音频 - 视觉生成建模方面取得的进展，得益于深度学习和数据丰富的基准的进步。然而，这种增长不仅仅归功于模型和基准，普遍接受的评估指标在推动该领域发展中也起着重要作用。虽然有许多用于单独评估音频和视觉内容的指标，但缺乏提供野外视频音频
PDF3 months ago
Synchformer: 从稀疏提示实现高效同步
我们的研究目标是在 YouTube 等 ' 野外 ' 视频中实现音频和视觉的同步，我们提出了一种新颖的音视频同步模型，并通过多模式片段级对比预训练将特征提取与同步建模分离开来。这种方法在密集和稀疏环境下都实现了最先进的性能，并将同步模型训练
PDF5 months ago
ICCV堵塞泄漏：通过防止无意的信息传递推进基于音频的说话人脸生成
利用给定的音频和参考帧生成口型同步、逼真的人脸视频是一项重要任务，其中的关键挑战涉及生成图像的整体视觉质量以及嘴部的音频 - 视频同步。本文首先指出了最近几种音频驱动人脸生成方法中同步方法存在的问题，包括从参考图像到生成图像的唇部和姿势信息
PDFa year ago
AAAISyncTalkFace：通过音 - 唇记忆实现精准嘴唇同步的说话人脸生成
该论文提出了一个名为 Audio-Lip Memory 的技术，使用存储在音频特征中的唇部运动信息来帮助生成与音频最匹配的嘴形，从而使得面部运动与音频之间出现了更加精细的时序一致性，实现了更高质量的谈话面部生成。
PDF2 years ago
重新思考音频 - 视觉同步以进行活动演讲者检测
本文提出一种跨模态对比学习策略，并在注意力模块中应用位置编码来识别音频和视频之间的同步信号，解决现有 ASD 方法不能识别异步视频导致误报的问题。实验结果表明该方法成功检测到非同步说话，解决了当前模型的局限性。
PDF2 years ago
MM自监督视听表示学习的协同关注网络
本文提出了一种基于自我监督和共注意力机制的框架，通过区分具有关联性的视觉和声音信息，提出了三种不同的共注意力模块以训练神经网络，并通过测试了解了该方法的广泛和可转移性，成功地在先前的任务中取得了最先进的结果，解决了多声源场景的问题。
PDF4 years ago
利用 GAN 实现逼真的语音驱动面部动画
本文介绍了一种基于语音信号自动生成会说话的角色的方法，该方法使用了端到端的系统并使用 Generative Adversarial Network (生成对抗网络) 来确保视频与音频的实时同步，并且产生了自然的面部表情。
PDF5 years ago