ECCVJun, 2022

CLIP-Actor: 基于文本的人体模型推荐和风格化动画

PDF
TL;DR提出了 CLIP-Actor：一种基于文本的动作推荐和神经网格风格化系统，能够根据文本提示为 3D 人类网格动画建议运动序列和优化网格样式属性，这对于以前无法生成符合自然语言提示的 3D 人物运动效果是非常独特的，CLIP-Actor 可以仅仅通过自然语言提示产生具有细节几何和纹理的真人可识别的风格 3D 人类网格运动。
发现论文，激发创造
  • AvatarCLIP: 零样本文本驱动的 3D 头像生成与动画

    提出了一种使用自然语言驱动的零样本文本框架 --AvatarCLIP，用于三维头像的生成和动画制作，并利用 CLIP 来监督神经人类的生成，实现了超强的零样本能力。

    May, 2022

  • 使用预训练的图文模型从文本生成带纹理的三维模型

    基于预训练的 CLIP 模型，我们提出了一种从输入的文本提示中生成 3D 模型的零样本生成技术。通过对网格参数的优化，我们可以直接生成形状、纹理或两者，而无需进行培训。

    Mar, 2022

  • MotionCLIP: 将人体动作生成暴露到 CLIP 空间

    MotionCLIP 是一种 3D 人体运动自编码器，在 latent space 中对接 CLIP 模型，以获得无与伦比的文本到运动的能力，实现了跨域动作，编辑和抽象语言规范等功能。

    Mar, 2022

  • StyleHumanCLIP: 面向 StyleGAN-Human 的文本引导服装操纵

    本文提出了一种基于文本引导的全身人像图像合成框架，采用基于注意力机制的潜在代码映射器，实现了比现有映射器更多元化对 StyleGAN 的控制，并在推理时引入特征空间掩码机制来避免因文本输入导致的不良影响，经定量和定性评估，证明了我们的方法比现有方法更能忠实地控制生成的图像。

    May, 2023

  • CLIP-Hand3D：基于上下文感知的 3D 手势姿态估计的利用

    提出了一种称为 CLIP-Hand3D 的新颖的 3D 手势估计器，能够成功地将文本提示与不规则的详细姿势分布连接起来，并通过对姿势标签进行编码，形成相应的文本提示，并从中检索 3D 空间中的 21 个手关节，并对它们的空间分布进行编码以形成姿势感知特征，随后通过构建一个粗到细的网格回归器来最大化姿势 - 文本特征对的语义一致性，实验结果表明该模型相比使用相似规模骨干的方法，在几个公开手部基准测试中实现了更快的推断速度和最先进的性能。

    Sep, 2023

  • CLIP3Dstyler: 语言引导的 3D 任意神经风格迁移

    本文提出了一种新的基于语音指导的三维任意神经风格转移方法，通过改进方案解决了传统 2D 和 3D 方法不能解决的问题，匹配点云和语音的不同特征，并提高文本风格可辨别性，在多个场景下实现了高效的风格迁移。

    May, 2023

  • TalkCLIP: 文本引导的表情语音生成

    本文提出了一种基于自然语言描述的表情可控一镜到底对话头生成方法 TalkCLIP。该方法通过引入 CLIP-based 风格编码器，将自然语言描述映射到口型样式表示中进行对齐，并能够生成受文本描述引导的具有生动面部表情的逼真谈话头。

    Apr, 2023

  • StyleCLIP: 基于文本的 StyleGAN 图像操作

    本文探讨了如何利用 Contrastive Language-Image Pre-training (CLIP) 模型，开发基于文本的 StyleGAN 图像操作界面。新方法不需要人工干预，通过文本提示即可对输入的潜在向量进行修改，并引入了潜在映射器，提高了文本驱动的操作效率。实验表明该方法非常有效。

    Mar, 2021

  • ExpCLIP: 通过语义对齐桥接文本和面部表情

    使用自然语言作为情感提示，并结合大规模语言模型构建的数据集，以及基于 CLIP 的模型实现文本和面部表情的语义对齐，从而实现表情丰富且可控制的面部动画生成。

    Aug, 2023

  • Text2Mesh: 文本驱动的网格神经风格化

    本文提出 Text2Mesh 算法，通过基于神经网络的颜色预测和本地几何细节预测实现对三维网格的样式编辑，使用 disentangled 表示法来对三维物体进行处理，无需预先训练的生成模型或特殊三维网格数据集，可以合成各种样式的三维网格。

    Dec, 2021