本文描述了一种基于口腔不一致性（LIPINC）的新方法来检测唇同步深度伪造视频，通过识别口腔区域的时间不一致性，可以成功捕捉到这些不规则，相比现有的方法，在多个基准深度伪造数据集上表现更好。

Jan, 2024

本文提出了 LipForensics 方法，通过预训练视觉语音识别网络和微调包含真实和伪造数据的嵌入特征的时间网络来实现对新型伪造样本的一致性检测和区分，具有较强的泛化和鲁棒性能。

Dec, 2020

该论文提出了一个名为 Audio-Lip Memory 的技术，使用存储在音频特征中的唇部运动信息来帮助生成与音频最匹配的嘴形，从而使得面部运动与音频之间出现了更加精细的时序一致性，实现了更高质量的谈话面部生成。

Nov, 2022

本文提出了一种利用口语专家、对不正确的生成结果进行惩罚和全局时间和视觉同步编码的对比学习和变压器方法来提高口语智能理解度的方法，并使用两种不同的口语专家评估生成视频的智能理解度。我们的方法在读取可理解度、嘴唇运动同步等方面优于当前的一些最先进方法，并获得其他方面的收益。

Mar, 2023

研究如何 lip-sync 一个任意身份的说话面部视频以匹配目标语音片段，并使用 Wav2Lip 模型和新的评估基准，成功地在自由视频中实现了较好的 lip-sync 精度。

Aug, 2020

通过一个新颖的多模态音视频框架，结合音频和视频输入进行深度伪造检测，我们的模型利用交叉注意机制通过嘴唇同步输入音频，并通过经过微调的 VGG-16 网络提取视觉线索，随后利用 Transformer 编码器网络执行面部自注意力。我们进行了多个消融研究，突出了我们方法的不同优点。我们的多模态方法在 F-1 分数和每个视频 AUC 分数方面优于最先进的多模态深度伪造检测技术。

Sep, 2023

本文介绍了 StyleLipSync，这是一个基于风格的个性化唇形同步视频生成模型，可从任意音频生成与身份无关的唇形同步视频。模型通过在预先训练的 StyleGAN 的语义丰富潜空间中利用表达性嘴唇先验来生成具有任意身份的视频。与之前的唇形同步方法相比，我们引入了姿态感知掩蔽，通过逐帧使用 3D 参数网格预测器动态定位掩蔽，以提高过帧自然性。此外，我们还提出了一种少量样本的唇形同步适应方法，引入同步正则器来保持唇形同步的泛化性，同时增强个人特定的视觉信息。广泛的实验证明，我们的模型可以生成准确的唇形同步视频，甚至可以在零样本设置下通过拟合少量秒数的目标视频增强看不见的面部特征。

Apr, 2023

该研究提出了 StyleSync，一种有效的框架，通过引入风格空间和特征重构，利用音频的调制卷积来准确地修改嘴的形状，使得目标人物的身份和说话风格能够被准确地保留，从而实现高保真的唇部同步。

May, 2023

本文提出了一种基于说话者唇部运动的语音合成方法，通过收集唇部运动大规模数据集并针对唇读单个说话者在自然环境下的情况进行模型设计，该模型可以更准确、自然地模拟说话者的语音，其量化、定性评估结果表明，该方法比现有方法的可理解性提高了四倍。

May, 2020

给定了一个称为 Speech2Lip 的分解 - 合成 - 组合框架，该框架通过学习敏感于语音和不敏感于语音的运动和外观来从有限的训练数据中生成自然的视频，实现了短视频时的准确嘴唇和形象产生，以及视频的视觉质量和语音 - 视觉同步方面的最新性能。

Sep, 2023