Mar, 2022

使用预训练的图文模型从文本生成带纹理的三维模型

PDF
TL;DR基于预训练的 CLIP 模型，我们提出了一种从输入的文本提示中生成 3D 模型的零样本生成技术。通过对网格参数的优化，我们可以直接生成形状、纹理或两者，而无需进行培训。
zero-shot generation3d modeltext promptoptimizationpretrained clip model
发现论文，激发创造
  • AvatarCLIP: 零样本文本驱动的 3D 头像生成与动画

    提出了一种使用自然语言驱动的零样本文本框架 --AvatarCLIP，用于三维头像的生成和动画制作，并利用 CLIP 来监督神经人类的生成，实现了超强的零样本能力。

    May, 2022

  • CLIP-Forge: 零样本文本生成形状

    本研究提出了一种名为 CLIP-Forge 的简单而有效的方法，该方法是基于文本和形状数据不可用的情况下进行的零样本文本生成图形的二阶段培训过程。该方法不仅具有避免推理时间优化的优势，而且能够为给定的文本生成多个形状。实验结果表明，该模型具有良好的零样本泛化能力，并对其行为进行了广泛的比较评估。

    Oct, 2021

  • TextCLIP：无对抗训练的文本指导人脸图像生成与操作

    提出了 TextCLIP，这是一个统一的框架，用于无对抗训练的文本引导的图像生成和操作，通过对 Contrastive Language-Image Pre-training (CLIP) 的文本图像表示能力和 StyleGAN 的生成能力的结合，能够生成高达 1024×1024 分辨率的图像，并在 Multi-modal CelebA-HQ 数据集上取得了优于现有最先进方法的结果。

    Sep, 2023

  • Dream3D: 使用 3D 形状先验和文本到图像扩散模型进行零样本文本到三维合成

    本文提出了 Dream3D 方法，将显式的三维形状先验引入 CLIP 导向的三维优化过程中，以生成高质量的三维形状。结合文本到图像扩散模型，Dream3D 能够生成精准而富有想象力的三维内容。

    Dec, 2022

  • CLIP-Actor: 基于文本的人体模型推荐和风格化动画

    提出了 CLIP-Actor：一种基于文本的动作推荐和神经网格风格化系统，能够根据文本提示为 3D 人类网格动画建议运动序列和优化网格样式属性，这对于以前无法生成符合自然语言提示的 3D 人物运动效果是非常独特的，CLIP-Actor 可以仅仅通过自然语言提示产生具有细节几何和纹理的真人可识别的风格 3D 人类网格运动。

    Jun, 2022

  • Text2Mesh: 文本驱动的网格神经风格化

    本文提出 Text2Mesh 算法，通过基于神经网络的颜色预测和本地几何细节预测实现对三维网格的样式编辑，使用 disentangled 表示法来对三维物体进行处理，无需预先训练的生成模型或特殊三维网格数据集，可以合成各种样式的三维网格。

    Dec, 2021

  • TextCraft: 从文本生成高保真度和多样性形状的零射击方法

    TextCraft 使用多分辨率和离散的潜在空间生成高保真且多样化的 3D 模型，过程中使用 CLIP 作为条件，并结合变形器模型和无分类器引导方法，优于其他同领域研究。

    Nov, 2022

  • DiffusionCLIP: 文本引导下的扩散模型用于稳健的图像处理

    该研究提出了一种名为 DiffusionCLIP 的新方法，该方法使用扩散模型进行文本驱动的图像操作，比现有基线表现更为优异，并允许简便的多属性操作。

    Oct, 2021

  • MV-CLIP：多视角 CLIP 用于零样本 3D 形状识别

    通过视角选择和分层提示的策略，本研究旨在改进预训练模型在零样本三维形状识别中的信心，实现无需额外训练的令人印象深刻的分类准确性。

    Nov, 2023

  • 基于 Top-k 邻居的图像到文本提示的 CLIP 模型

    以生成模型为基础，提出了一种用于图像生成提示的低成本方法，在无需大量标注数据的情况下生成文本提示，并将方法划分为在线和离线两个阶段。所提出的系统由离线任务和在线任务两个主要部分组成，具有最高的度量值 0.612，比 Clip、Clip + KNN（前 10）分别高出 0.013、0.055、0.011。

    Jan, 2024