野外文本生成三维内容调查
近年来,文本到三维形状生成领域经历了大量的工作和兴趣。这篇综述报告了驱动文本到三维形状生成的底层技术和方法,并对需要的监督数据类型进行了系统分类。最后,讨论了现有方法的局限性,并勾画了未来工作的有希望的方向。
Mar, 2024
本研究主要介绍了生成人工智能中的文本导向内容生成,着重探讨其中的文本导向三维技术,提供了一份关于该领域的综合调查报告。该报告介绍了三维数据表示、相关技术及其在不同应用方面的应用,包括头像生成、纹理生成、形状变换和场景生成,以及使用 NeRF 等文本到图像与三维建模技术的新兴方向的最新进展。
May, 2023
人工智能在生成内容领域取得了显著进展,其中 3D 内容生成作为视觉模态之一,面临巨大的知识和技术挑战。本研究回顾了 3D 内容生成技术的发展,并提出了一个新的分类法,详细介绍了三种不同类型的方法。同时,讨论了当前技术的局限性以及未来工作的挑战和方向。
Feb, 2024
生成 3D 模型是计算机图形学的核心,并且已经成为几十年研究的重点。随着先进的神经表示和生成模型的出现,3D 内容生成领域正在快速发展,使得越来越高品质和多样化的 3D 模型得以创建。本文调查了 3D 生成方法的基本方法,并建立了一个结构化的路线图,包括 3D 表示、生成方法、数据集和相关应用。最后,我们讨论可用的数据集、应用和面临的挑战。希望本调查能帮助读者探索这个激动人心的主题,并促进 3D 内容生成领域的进一步发展。
Jan, 2024
本文提出一种新颖的文本生成 3D 模型方法(T2TD),通过引入相关形状或文本信息作为先验知识来提高 3D 模型生成模型的性能,并采用多层变压器结构逐步融合相关形状和文本信息,证明了该方法在 3D 模型生成质量上显着提高,且表现优于现有文本转形状数据集上的 SOTA 方法。
May, 2023
通过使用大型预训练的文本到图像扩散模型生成的图像作为监督信号,我们提出了一种高效的文本到 3D 生成方法,在消费级显卡上仅需约 8 毫秒即可根据文本提示生成一个 3D 资产,并且不需要 3D 训练数据,通过提炼预训练图像扩散模型为高效文本到 3D 生成提供了一种替代方法。
Nov, 2023
大规模文本到图像扩散模型的最新进展在文本到三维生成领域取得了重大突破,仅通过给定的文本提示从零开始创作三维内容。然而,现有的文本到三维技术在创作过程中缺乏一项关键能力:根据用户的需求规范(如草图)对合成的三维内容进行交互式控制和塑造。为了解决这个问题,我们首次尝试在条件上添加手绘草图的文本到三维生成,即 Control3D,以增强用户的可控性。具体而言,我们通过改进的 2D 条件扩散模型(ControlNet)来引导作为 NeRF 参数化的三维场景的学习,以使每个三维场景视角与给定的文本提示和手绘草图对齐。此外,我们利用预训练的可微分照片到草图模型直接估计合成三维场景上渲染图像的草图。此类估计的草图以及每个采样视角进一步被强制与给定的草图在几何上保持一致,从而实现了更好的可控文本到三维生成。通过广泛的实验证明,我们的提议可以生成与输入的文本提示和草图紧密对齐的准确忠实的三维场景。
Nov, 2023
通过引入文本条件,该论文提出了一种名为 TG-3DFace 的文本引导的 3D 人脸生成方法,利用全局对比学习和细粒度对齐模块两种跨模态对齐技术,实现了更逼真和语义一致的纹理生成。
Aug, 2023
通过结合文字和图像信息,利用扩散模型,我们开发了一种零样本的三维生成模型,能够合成高分辨率纹理网格,实现了将二维图像直接转化为三维空间的功能。
Aug, 2023