本文提出了一种基于自然语言描述的表情可控一镜到底对话头生成方法 TalkCLIP。该方法通过引入 CLIP-based 风格编码器，将自然语言描述映射到口型样式表示中进行对齐，并能够生成受文本描述引导的具有生动面部表情的逼真谈话头。

Apr, 2023

使用 CLIP Projection-Augmentation Embedding（PAE）作为优化目标，以改善文本引导的图像操作的性能。

Oct, 2022

为了实现面部三维动画的情感表达和语音的同步，研究者开发了一种名为 EMOTE 的系统，它通过在空间局部和时间高频率上对语音内容进行口型识别来训练表情，同时维持与语音同步且具有完全的情感表达。

Jun, 2023

EmotionCLIP 通过使用非筛选数据从语言和非语言交流中提取视觉情感表示来进行预训练，从而解决了情感理解中数据稀缺的问题，并通过情感引导的对比学习提供了口头和非口头情感线索。结果表明，EmotionCLIP 在各种基准测试中优于现有有监督的视觉情感识别方法并且可以与许多多模态方法竞争。

May, 2023

本研究提出了一种名为 Exp-CLIP 的新方法，通过从大型语言模型（LLMs）中转移任务知识来增强零样例人脸表情识别。利用预训练的视觉 - 语言编码器，通过投影头将初始联合视觉 - 语言空间映射到捕捉面部动作表示的空间，以此训练投影头进行零样例预测，同时采用基于文本指令的策略定制 LLM 知识。Exp-CLIP 在七个野外人脸表情数据集上实现了优于 CLIP 模型和其他若干大型视觉 - 语言模型（LVLMs）的零样例结果。

May, 2024

该论文介绍了一种名为 DFER-CLIP 的新型视觉语言模型，它基于 CLIP 模型，用于野外动态面部表情识别 (DFER)。该模型包括视觉部分和文本部分，通过提取时序面部表情特征和学习上下文信息，实现了与当前监督 DFER 方法相比的最先进结果。

Aug, 2023

本文探讨了如何利用 Contrastive Language-Image Pre-training (CLIP) 模型，开发基于文本的 StyleGAN 图像操作界面。新方法不需要人工干预，通过文本提示即可对输入的潜在向量进行修改，并引入了潜在映射器，提高了文本驱动的操作效率。实验表明该方法非常有效。

Mar, 2021

本文提出了一种名为 SpeechCLIP 的新框架，通过图像将语音和文本结合起来，从而改善语音模型的性能，无需直接从转录中进行监督。SpeechCLIP 使用先进的预训练 HuBERT 和 CLIP 模型，并通过配对的图像和口头字幕进行对齐，实现了零样本语音 - 文本检索和语音中关联关键字的提取。

Oct, 2022

本研究提出了一种名为 CSTalk 的方法，通过建模面部运动不同区域之间的相关性并监督生成模型的训练，生成符合人脸运动模式的真实表情，解决了语音驱动的 3D 面部动画技术中面临的数据限制、唇部对齐以及面部表情自然度等挑战，实验结果表明我们的方法优于现有最先进的方法。

Apr, 2024

提出了 CLIP-Actor：一种基于文本的动作推荐和神经网格风格化系统，能够根据文本提示为 3D 人类网格动画建议运动序列和优化网格样式属性，这对于以前无法生成符合自然语言提示的 3D 人物运动效果是非常独特的，CLIP-Actor 可以仅仅通过自然语言提示产生具有细节几何和纹理的真人可识别的风格 3D 人类网格运动。

Jun, 2022