Nov, 2023

DiffDub：使用扩充自动编码器的修复渲染器进行人物通用视觉配音

PDF
TL;DR通过 Diffusion-based dubbing 方法，我们提出了 DiffDub 自动编码器，可以实现高质量的视觉配音，包括无痕填充和人物特定纹理等创新性策略，通过全面的实验证明，我们的方法在人员通用和多语言场景中优于现有方法，并提供无缝连贯、可理解的视频。
visual dubbingdiffdubdiffusion-based dubbingauto-encoderseamless filling
发现论文，激发创造
  • 适用于所有人的配音：使用神经渲染先验进行高效配音

    利用数据效率的神经渲染先验和神经纹理进行演员特定的自适应，以达到高质量的视觉配音，只需几秒钟的数据即可实现，同时具有限数据的普遍性和可扩展性。

    Jan, 2024

  • 面向异构来源实现逼真的视觉配音

    本文提出了一种简单而高效的两阶段框架，通过面部特征作为中间先验，从真实说话头生成的核心任务中区分出音频和图像的同步和生成，以更容易获取的杂类数据培训两个子网，以及允许对给定的说话头进行进一步的微调，从而实现高保真的 few-shot 视觉配音。

    Jan, 2022

  • 神经风格保持的视觉配音

    提出了一种基于运动风格和生成对抗网络的可视化配音方法，该方法将目标演员的签名风格保留在修改面部表情（包括口型运动）以匹配外语时，并且实验结果表明，与先前的方法相比，我们的可视化配音方法更好地保持了目标演员的固有风格。

    Sep, 2019

  • DINet：高分辨率视频中逼真的面部视觉配音的变形修复网络

    该论文提出了一种基于 Deformation Inpainting Network（DINet）的高分辨率人脸视觉配音方法，通过在参考图像的特征映射上执行空间变形来更好地保存高频纹理细节，并取得了比其他最先进的方法更好的效果。

    Mar, 2023

  • DiffusionAct：可控的一次性人脸仿真的扩散自编码器

    DiffusionAct 是一种利用扩散模型的照片级真实图像生成来进行神经脸部再现的新方法，能够编辑输入图像的脸部姿势，实现一次性、自我和跨主体再现，并展示了优于甚至与 GAN、StyleGAN2 和扩散方法相媲美的再现性能。

    Mar, 2024

  • DiffSpeaker：基于扩散变换的语音驱动 3D 人脸动画

    使用 DiffSpeaker 网络，该网络具备新颖的有偏条件注意力模块，用于聚焦任务相关和扩散相关的条件，从而解决传统的 Diffusion 模型和 Transformer 架构在语音驱动的 3D 面部动画生成中性能提升有限的问题。我们的模型在现有基准测试中不仅达到了最先进的性能，而且由于能够并行生成面部动作，具备快速推理的速度。

    Feb, 2024

  • 通过分层韵律模型学习配音电影

    该研究提出了一种新的电影配音架构，采用层次化韵律建模的方法，在三个方面的口型、面部表情和场景方面将视觉信息与对应的语音韵律相结合，包括使用情感增强器捕捉情境气氛，获得了良好的实验结果。

    Dec, 2022

  • 扩散视频自编码器：通过分离视频编码实现时态一致的人脸视频编辑

    本文提出了一种基于扩散自编码器的全新的人脸视频编辑框架，该框架能够成功地从给定的视频中提取分解特征 - 首次作为人脸视频编辑模型 - 并且允许我们通过简单地操纵时间不变的特征来实现视频编辑，以解决在编辑帧之间的时间一致性等问题。该模型还具有重建和编辑能力，能够处理野外人脸视频中的极端情况，例如遮挡的人脸。

    Dec, 2022

  • 基于语音驱动的用户生成内容配音：风格感知半参数合成

    本文研究了一种音频驱动的配音方法，适用于用户生成的内容制作。通过引入新的风格翻译网络、半参量化视频渲染器和时间正则化，该方法可以准确保留不同的说话风格，并且相较于现有方法具有更低的训练数据和训练时间需求，以及更快的测试速度。

    Aug, 2023

  • 一种简单的潜隐扩散方法用于全景分割和蒙版修复

    该论文介绍了使用稳定的扩散和潜在扩散方法进行全景分割的架构，它通过训练浅层自动编码器和扩散模型实现了对分割掩模的操控，呈现了全景分割和遮罩修复的有 promising 结果。

    Jan, 2024