Dec, 2023

TPA3D: 快速文本到 3D 生成的三面关注

PDF
TL;DR为了实现快速的文本到 3D 生成，本文提出了 Triplane Attention for text-guided 3D generation (TPA3D)，一种基于端到端可训练 GAN 模型。通过对提取的句子和单词级文本特征进行注意力机制，TPA3D 能够生成与细粒度描述相对应的高质量 3D 纹理形状，并呈现出令人印象深刻的计算效率。
text-to-3d generationdiffusion-based methodsgan-based modelstriplane attentiontpa3d
发现论文，激发创造
  • TAPS3D：基于伪监督的文本引导的三维纹理形状生成

    该论文提出了一种使用伪字幕训练文本引导的 3D 形状生成器的方法，通过采用低级别的图像正则化，进一步增加几何多样性，可以从给定的文本生成 3D 纹理形状，并且对模型进行了大量的实验分析。

    Mar, 2023

  • 基于先验知识引导的文本 - 三维生成模型

    本文提出一种新颖的文本生成 3D 模型方法（T2TD），通过引入相关形状或文本信息作为先验知识来提高 3D 模型生成模型的性能，并采用多层变压器结构逐步融合相关形状和文本信息，证明了该方法在 3D 模型生成质量上显着提高，且表现优于现有文本转形状数据集上的 SOTA 方法。

    May, 2023

  • PI3D：高效的文本到 3D 生成与伪图像扩散

    本文介绍了 PI3D，一个高效的框架，利用预训练的文本到图像扩散模型在几分钟内生成高质量的 3D 形状。通过将预训练的 2D 扩散模型微调为 3D 扩散模型，PI3D 具备了 3D 生成能力和源自 2D 模型的泛化能力，并利用 2D 扩散模型的分数蒸馏抽样快速提高采样的 3D 形状的质量。通过将知识迁移为一组伪图像，PI3D 实现了从图像到三视图生成的迁移。我们通过调整预训练模型中的模块，实现了使用伪图像和真实图像进行混合训练，这已被证明是一种提高泛化能力的有效策略。PI3D 的效率在于能够在几秒钟内采样多样性的 3D 模型，并在几分钟内对其进行改进。实验结果证实了 PI3D 相对于基于 3D 扩散模型或提升 2D 扩散模型的现有方法在快速生成一致且高质量的 3D 模型方面的优势。建议的 PI3D 是文本到 3D 生成领域的一个有前景的进展，我们希望它能激发更多关于利用 2D 和 3D 数据知识的 3D 生成研究。

    Dec, 2023

  • 基于参考的三元面 3D 感知图像编辑

    通过对 EG3D 的三平面空间的探索和演示，本研究提供了一个集成框架，用于实现高质量的基于参考的三维感知图像编辑，并通过创新的流程在三维感知图像编辑方面呈现出独特的视角。

    Apr, 2024

  • ET3D：通过多视角蒸馏实现高效的文本到三维生成

    通过使用大型预训练的文本到图像扩散模型生成的图像作为监督信号，我们提出了一种高效的文本到 3D 生成方法，在消费级显卡上仅需约 8 毫秒即可根据文本提示生成一个 3D 资产，并且不需要 3D 训练数据，通过提炼预训练图像扩散模型为高效文本到 3D 生成提供了一种替代方法。

    Nov, 2023

  • DiffusionGAN3D: 结合 3D GANs 和 Diffusion 先验的文本引导的 3D 生成和领域适应

    我们提出了一个新的框架 DiffusionGAN3D，通过结合 3D GANs 和扩散先验来增强文本引导的 3D 领域适应和生成，该方法在领域适应和文本到头像任务中取得了优异的生成质量和效率结果。

    Dec, 2023

  • ViewDiff：利用文本到图像模型的 3D 一致图像生成

    本文提出一种新的方法，利用预训练的文字转图像模型作为先验知识，从真实世界数据中的单个去噪过程中生成多视角图像，并且通过在现有 U-Net 网络的每个块中整合 3D 体渲染和跨帧注意力层，设计出自回归生成方法，在任意视点上呈现更具一致性的 3D 图像。与现有方法相比，我们的方法生成的结果是一致的，并且具有优秀的视觉质量（FID 降低 30%，KID 降低 37%）。

    Mar, 2024

  • 渐进式文本到三维生成用于自动三维打印

    通过自然语言描述生成三维物体的文本到三维生成技术，采用多尺度三面网（Multi-Scale Triplane Network）和新的渐进学习策略，有效地恢复细节并高效优化大尺寸三维输出，为自动三维原型制作提供了可能。

    Sep, 2023

  • 亮梦想者：通用的 3D 高斯生成框架用于快速文本到 3D 合成

    BrightDreamer 是一种端到端的单阶段方法，可以实现通用且快速（77 毫秒）的文本到 3D 生成，通过估算 3D 变形、形状基准位置和各种属性来生成百万个 3D Gaussian。

    Mar, 2024

  • Instant3D：即时文本到三维生成

    提出了一种新的基于文本的 3D 生成框架，名为 Instant3D，使用前向网络在不到一秒的时间内为未见的文本提示创建一个 3D 对象，并解决了 Janus 问题的多头效应。

    Nov, 2023