Jun, 2023

基于形状 - 图像 - 文本对齐潜在表示的 Michelangelo 条件 3D 形状生成

PDF
TL;DR本文提出利用对齐预处理的方法来生成 3D shape，通过 shape-image-text-aligned space 对三种模态进行转换，并且通过两种模型提升生成效果
3d shape generationalignment-before-generation approachconditional generative modelshape-image-text-aligned spacelatent diffusion model
发现论文，激发创造
  • 文本和图像帮助下的 3D 头像创造与操作

    该论文介绍了一种基于文本或图像的提示（如 “年轻的脸” 或 “惊讶的脸”）来操纵三维生成模型中形态和纹理的方法，利用了对比语言图像预训练模型（CLIP）和预训练的生成人脸的三维 GAN 模型创建了一个完全可微的渲染管道来操作网格。

    Feb, 2022

  • 基于文本指导的隐式 3D 形状生成

    该研究探讨了从文本生成 3D 形状的任务，提出了一种新的文本引导的 3D 形状生成方法，能够在形状与颜色上产生高保真匹配文本描述的形状，技术贡献包括基于词级空间转换器和循环损失的一致性措施，并引入了形状 IMLE 进行生成的多样性。

    Mar, 2022

  • 基于先验知识引导的文本 - 三维生成模型

    本文提出一种新颖的文本生成 3D 模型方法（T2TD），通过引入相关形状或文本信息作为先验知识来提高 3D 模型生成模型的性能，并采用多层变压器结构逐步融合相关形状和文本信息，证明了该方法在 3D 模型生成质量上显着提高，且表现优于现有文本转形状数据集上的 SOTA 方法。

    May, 2023

  • 文本到 3D 形状生成

    近年来，文本到三维形状生成领域经历了大量的工作和兴趣。这篇综述报告了驱动文本到三维形状生成的底层技术和方法，并对需要的监督数据类型进行了系统分类。最后，讨论了现有方法的局限性，并勾画了未来工作的有希望的方向。

    Mar, 2024

  • 高保真文本引导的 3D 人脸生成与操作仅通过图像

    通过引入文本条件，该论文提出了一种名为 TG-3DFace 的文本引导的 3D 人脸生成方法，利用全局对比学习和细粒度对齐模块两种跨模态对齐技术，实现了更逼真和语义一致的纹理生成。

    Aug, 2023

  • Text2Shape: 通过学习联合嵌入从自然语言生成形状

    通过联合嵌入 3D 彩色形状和自然语言，我们提出了一种从自然语言中生成彩色 3D 形状的方法，此外还演示了其背后的文本检索，条件 Wasserstein GAN 等实现和应用。

    Mar, 2018

  • 生成式潜在形状模型的几何分离

    本文提出了一种无监督的方法来将三维点云的变分自编码器的潜空间进行划分，结果展现出直观可解释的行为，在姿态转换和姿态感知形状检索等任务上表现出色，为人工智能中 3D 形状表示问题提供重要思路。

    Aug, 2019

  • 几何对齐变分转换器用于基于图像条件的布局生成

    本文探讨了一种新的图像条件布局生成的范式，通过采用自我关注机制和交叉关注机制来建立布局元素间的关系并结合条件图像的视觉信息生成各种布局，其中几何对齐模块可以消除元素域和视觉域之间的差距，在大规模广告海报布局设计数据集上进行的实验结果表明，我们的模型可以自适应地生成非侵入式区域的布局，从而实现和谐的布局设计。

    Sep, 2022

  • ISS: 文本引导下的图像跨越式 3D 形状生成

    这篇论文提出了一种名为 Image as Stepping Stone (ISS) 的框架，通过两阶段特征空间对齐方法和文本指导的形状造型模块，实现了不需要成对文本 - 形状数据的通用三维形状生成，该方法表现更优越，生成的形状具有多样的纹理结构和逼真性。

    Sep, 2022

  • 变分 U-Net 用于条件外观和形状生成

    通过结合条件 U-Net 和变分自编码器，实现了基于形状的图像生成。实验表明，该方法在多个数据集上明显优于现有技术，能够在不改变形状的情况下生成新的外观。

    Apr, 2018