May, 2023

CPNet: 基于 CLIP 的注意力浓缩器和概率图引导的高保真说话脸生成技术

PDF
TL;DR本文提出了一个基于 CLIP 的关注力和概率图引导网络 (CPNet)，用于推断高保真的人脸合成视频。通过 fine-grained 特征整合和概率分布的一致性，该方法克服了局部细节模糊和降级保真度问题，取得了比现有技术更好的成果。
talking face generationfine-grained feature extractionclip-based attentionprobability mapinferring high-fidelity videos
发现论文，激发创造
  • 基于条件循环对抗网络的说话人脸生成

    提出一种基于条件对抗生成的视频网络，该网络将音频输入作为条件并考虑面部图像在不同视频帧之间的时间依赖性，从而实现唇部和面部平稳过度，最终通过音频片段提取的音素分布信息，开发出一种样本选择方法，可以在不降低生成视频质量的情况下有效减小训练数据集的规模。

    Apr, 2018

  • 优化语义关联微调的少样本 CLIP

    通过对关注池化层进行微调，强调任务特定语义信息的注意力分布，以提高普通少样本学习的 CLIP 模型的效果。

    Nov, 2023

  • 隐式身份表达条件化记忆补偿网络用于说头视频生成

    通过学习全局面部表达空间并设计了一个新颖的隐式身份表示条件化内存补偿网络（MCNet），我们提出了一种高保真的谈话头生成方法，能够从训练样本中学习统一的空间面部元记忆库，并通过离散关键点的隐式身份表示来有效查询这个记忆库以获得更相关的信息进行补偿，实验证明 MCNet 可以学习到代表性和互补的面部记忆，并在 VoxCeleb1 和 CelebV 数据集上明显优于现有的谈话头生成方法。

    Jul, 2023

  • FLNet：基于关键点的获取和学习网络，用于忠实的对话人脸动画合成

    本篇论文提出了一种基于多源图像驱动的两流网络来生成更准确和更稳定的谈话人脸动画，相比基线算法，实验结果表现更好。

    Nov, 2019

  • 基于概率微调的视觉 - 语言模型连续学习

    我们的研究提出了 Continual LeArning with Probabilistic finetuning (CLAP) 方法，该方法运用概率建模技术，通过预训练模型的丰富知识进行可靠的细调，用于连续学习任务，并在不确定性估计上展现出更强的能力。

    Mar, 2024

  • 使用 CLIP 潜变量的分层文本条件图像生成

    提出一个两阶段模型，先用 prior 生成 CLIP 图像嵌入，再由 decoder 在图像嵌入的条件下生成图像。实验表明该模型可以提高图像的多样性，并在完美保留语义和风格前提下变化非必要的细节。利用扩散模型作为 decoder, 同时使用自回归和扩散模型作为 prior，发现后者更加高效且产生的样本更优。

    Apr, 2022

  • SCLIP：为密集视觉语言推理重新思考自注意力

    通过引入新的自相关自注意力（CSA）机制，增强了 CLIP 在语义分割方面的潜力，并且在零样本 mIoU 方面明显优于现有的 SoTA 结果和原始的 CLIP。

    Dec, 2023

  • 高保真自由可控的说话头部视频生成

    本文提出了一种新模型，通过利用自监督学习技术和三维人脸模型中的标志点来对运动进行建模，并引入了新的运动感知多尺度特征对齐模块来进行视频合成，从而实现了对头部姿态和表情的自由控制，并且得到了最优质的合成音频视频输出。

    Apr, 2023

  • CALIP: 零参数关注下的零样本增强 CLIP

    本文提出了一种名为 CALIP 的方法，通过一个无需参数的关注模块，在不增加额外的训练开销和数据需求的情况下提高 Contrastive Language-Image Pre-training 的零样本性能。

    Sep, 2022

  • 利用 CLIP 重新思考少样本分割的先验信息生成

    通过将视觉与文本对齐能力作为先验表示，本研究提出了两种训练无关的先验信息生成策略，以更可靠的指导并增强模型的泛化能力。在 PASCAL-5i 和 COCO-20i 数据集上的实验证明我们的方法在少样本分割任务中取得了明显的改进，并达到了新的最先进性能。

    May, 2024