Feb, 2024

GALA3D：基于布局导向的生成式高斯雾化技术实现文本到复杂 3D 场景生成

PDF
TL;DR我们提出了 GALA3D，一种具备布局引导控制的生成式 3D 高斯模型，用于有效的文本到 3D 生成。我们首先利用大型语言模型（LLMs）生成初始布局，并引入了布局引导的 3D 高斯表示，以适应几何约束下的 3D 内容生成。然后，我们使用条件扩散的对象场景组合优化机制协同生成具有一致几何、纹理、比例和准确互动的真实 3D 场景，同时调整从 LLMs 中提取的粗略布局优先级以与生成的场景相一致。实验证明，GALA3D 是一个用户友好的端到端框架，可用于最先进的场景级 3D 内容生成和可控制的编辑，并确保场景中的物体级实体的高保真度。源代码和模型可在此网址获得：https://example.com
发现论文，激发创造
  • CG3D: 通过高斯喷洒实现文本到三维的组合生成

    提出了 CG3D 方法，通过使用显式高斯辐射场来生成可扩展的三维资产，解决了基于文本的三维生成的限制，能够产生详细的多物体场景，并通过使用显式表示构建指导框架，在对象组合和物理准确性方面展示了领先于现有模型的结果。

    Nov, 2023

  • DreamScape: 通过高斯喷洒联合相关建模实现的 3D 场景创建

    DreamScape 是一种通过文本描述创建高度一致的 3D 场景的方法，利用高斯飞溅和大型语言模型的强大 3D 表示能力，并通过局部到整体优化来解决多实例和复杂排列的挑战。

    Apr, 2024

  • DreamScene360: 无约束的文本到 3D 场景生成与全景高斯喷洒

    我们提供了一个文本转 3D 360 度场景生成流水线，能够在几分钟内为野外环境创建综合的 360 度场景。我们的方法利用 2D 扩散模型的生成能力和提示自我完善来创建高质量和全局连贯的全景图像，这作为一个初步的 “平面”（2D）场景表示。随后，通过采用粒子技术将它提升到 3D 高斯函数，以实现实时浏览。为了产生一致的 3D 几何结构，我们的流水线通过将 2D 单目深度对齐成全局优化点云，构建了一个空间连贯的结构。这个点云作为 3D 高斯函数的初始状态的质心。为了解决单视角输入固有的不可见问题，我们对合成和输入相机视图应用语义和几何约束作为规范，这些约束指导高斯函数的优化，帮助重建不可见的区域。总之，我们的方法提供了一个全局一致的 360 度视角的 3D 场景，相较于现有技术提供了更加增强的沉浸式体验。项目网址：this http URL

    Apr, 2024

  • ART3D: 文本引导的艺术场景生成中的 3D 高斯散点渲染

    通过结合扩散模型和 3D 高斯喷洒技术提出一种名为 ART3D 的新型框架，有效地通过创新的图像语义迁移算法来弥合艺术与现实图像之间的差距，并且通过利用深度信息和初始艺术图像生成点云地图来解决领域差异，并且提出了深度一致性模块来提高 3D 场景的一致性，最后，3D 场景作为优化高斯喷洒的初始点，实验结果表明与现有方法相比，ART3D 在内容和结构一致性指标上具有优越的性能，为生成高质量的 3D 艺术场景提供了创新解决方案，极大地推动了人工智能在艺术创作领域的发展。

    May, 2024

  • 高斯点云 3D 建模

    利用高斯雨滴喷洒技术的文本到 3D 生成（GSGEN）方法可以生成具有精细细节和更准确几何形状的高质量 3D 对象。

    Sep, 2023

  • 3DitScene：基于语言引导的解耦高斯投影进行任意场景编辑

    通过语言引导的分离高斯细分并融合三维数据，3DitScene 提供了一种从二维到三维的全新统一场景编辑框架，实现了对场景构成和单个对象的精确控制，从而革新创造性表达方式并增强场景和对象的控制能力。

    May, 2024

  • 可控的文本到三维生成：面对齐的高斯扩散

    本研究主要关注在控制性文本生成 3D 场景方面的多视图控制网络架构，该网络结合额外的输入条件，如边缘、深度、法线和素描图，使用局部和全局嵌入来控制基础扩散模型，并通过优化实现 3D 生成，最终实现了高质量、可控的 3D 内容的生成。

    Mar, 2024

  • HumanGaussian：基于文本驱动的高斯点绘制的 3D 人体生成

    基于文本提示生成真实的 3D 人体是一项令人向往但具有挑战性的任务。本文提出了一种高效而有效的框架 HumanGaussian，通过结构感知的 SDS 和退火负向提示引导，以及适应性高斯喷洒渲染器，在细节和训练时间方面取得了优越的性能。

    Nov, 2023

  • DreamGaussian：高效三维内容生成的生成高斯点图方法

    最近在 3D 内容创建方面的最新进展主要利用基于优化的 3D 生成通过得分蒸馏抽样（SDS）。尽管取得了有希望的结果，但这些方法往往受到每个样本优化速度慢的限制，限制了它们的实际应用。本文提出了 DreamGaussian，一个同时实现效率和质量的创新性 3D 内容生成框架。我们的关键见解是在 UV 空间中设计了一个具有伴随网格提取和纹理细化功能的生成性 3D 高斯飞溅模型。与神经辐射场中使用的占位修剪不同，我们证明了 3D 高斯曲线的渐进致密化对于 3D 生成任务的收敛速度更快。为了进一步提高纹理质量并促进下游应用，我们引入了一种将 3D 高斯曲线转换为纹理网格的高效算法，并应用了一个微调阶段来细化细节。大量实验证明了我们提出方法的卓越效率和竞争的生成质量。值得注意的是，DreamGaussian 从单视图图像中仅用 2 分钟即可生成高质量的纹理网格，与现有方法相比加速了大约 10 倍。

    Sep, 2023

  • GaussianDreamerPro：具有极高质量的可操作三维高斯文本

    提出了一种名为 GaussianDreamerPro 的新框架，通过将高斯函数与合理几何形状相结合，逐步丰富几何与外观，构建了与以前方法相比具有显着改进细节和质量的 3D 高斯函数绑定网格的生成资产，可无缝集成于下游操作流水线，大大扩展了其在广泛应用中的潜力。

    Jun, 2024