CVPRMay, 2024

ART3D: 文本引导的艺术场景生成中的 3D 高斯散点渲染

PDF
TL;DR通过结合扩散模型和 3D 高斯喷洒技术提出一种名为 ART3D 的新型框架，有效地通过创新的图像语义迁移算法来弥合艺术与现实图像之间的差距，并且通过利用深度信息和初始艺术图像生成点云地图来解决领域差异，并且提出了深度一致性模块来提高 3D 场景的一致性，最后，3D 场景作为优化高斯喷洒的初始点，实验结果表明与现有方法相比，ART3D 在内容和结构一致性指标上具有优越的性能，为生成高质量的 3D 艺术场景提供了创新解决方案，极大地推动了人工智能在艺术创作领域的发展。
3d artistic scene generationart3ddiffusion models3d gaussian splatting techniquesimage semantic transfer algorithm
发现论文，激发创造
  • 高斯弥散：用于去噪扩散概率模型的三维高斯分布

    基于高斯喷射的文本到三维内容生成框架，通过控制高斯球的透明度实现更真实的图像生成；通过引入多视角噪声分布矫正多视角几何中的不一致性；使用变分高斯喷射技术提高三维外观的质量和稳定性。

    Nov, 2023

  • CG3D: 通过高斯喷洒实现文本到三维的组合生成

    提出了 CG3D 方法，通过使用显式高斯辐射场来生成可扩展的三维资产，解决了基于文本的三维生成的限制，能够产生详细的多物体场景，并通过使用显式表示构建指导框架，在对象组合和物理准确性方面展示了领先于现有模型的结果。

    Nov, 2023

  • DreamScene360: 无约束的文本到 3D 场景生成与全景高斯喷洒

    我们提供了一个文本转 3D 360 度场景生成流水线，能够在几分钟内为野外环境创建综合的 360 度场景。我们的方法利用 2D 扩散模型的生成能力和提示自我完善来创建高质量和全局连贯的全景图像，这作为一个初步的 “平面”（2D）场景表示。随后，通过采用粒子技术将它提升到 3D 高斯函数，以实现实时浏览。为了产生一致的 3D 几何结构，我们的流水线通过将 2D 单目深度对齐成全局优化点云，构建了一个空间连贯的结构。这个点云作为 3D 高斯函数的初始状态的质心。为了解决单视角输入固有的不可见问题，我们对合成和输入相机视图应用语义和几何约束作为规范，这些约束指导高斯函数的优化，帮助重建不可见的区域。总之，我们的方法提供了一个全局一致的 360 度视角的 3D 场景，相较于现有技术提供了更加增强的沉浸式体验。项目网址：this http URL

    Apr, 2024

  • GALA3D：基于布局导向的生成式高斯雾化技术实现文本到复杂 3D 场景生成

    我们提出了 GALA3D，一种具备布局引导控制的生成式 3D 高斯模型，用于有效的文本到 3D 生成。我们首先利用大型语言模型（LLMs）生成初始布局，并引入了布局引导的 3D 高斯表示，以适应几何约束下的 3D 内容生成。然后，我们使用条件扩散的对象场景组合优化机制协同生成具有一致几何、纹理、比例和准确互动的真实 3D 场景，同时调整从 LLMs 中提取的粗略布局优先级以与生成的场景相一致。实验证明，GALA3D 是一个用户友好的端到端框架，可用于最先进的场景级 3D 内容生成和可控制的编辑，并确保场景中的物体级实体的高保真度。源代码和模型可在此网址获得：https://example.com

    Feb, 2024

  • 3D 高斯点绘制的近期进展

    使用一组高斯椭球来模拟场景，从而实现高效渲染，3D 高斯喷涂表示法具有快速渲染、动态重建、几何编辑和物理模拟等优点。本文通过对最近的 3D 高斯喷涂方法进行文献综述，提供了一个 3D 高斯喷涂方法的分类，包括 3D 重建、3D 编辑和其他功能应用，以及传统的基于点的渲染方法和 3D 高斯喷涂的渲染公式，旨在帮助初学者快速了解这一领域并为经验丰富的研究者提供全面的概述，以推动 3D 高斯喷涂表示法的未来发展。

    Mar, 2024

  • 新视觉时代中的 3D 高斯：综述

    3D 高斯散射（3D-GS）是计算机图形学领域的重要进展，提供了明确的场景表示和新颖的视图合成技术，而无需依赖神经网络（如神经辐射场（NeRF））。本文对 3D 高斯散射的相关论文进行了全面调研，将调查结果按照特征和应用进行分类，介绍了 3D 高斯散射的理论基础。旨在使新研究人员了解 3D 高斯散射，提供领域中的重要参考文献，并启发未来的研究方向，如本文的结论部分所讨论的。

    Feb, 2024

  • DreamScape: 通过高斯喷洒联合相关建模实现的 3D 场景创建

    DreamScape 是一种通过文本描述创建高度一致的 3D 场景的方法，利用高斯飞溅和大型语言模型的强大 3D 表示能力，并通过局部到整体优化来解决多实例和复杂排列的挑战。

    Apr, 2024

  • 高斯点云 3D 建模

    利用高斯雨滴喷洒技术的文本到 3D 生成（GSGEN）方法可以生成具有精细细节和更准确几何形状的高质量 3D 对象。

    Sep, 2023

  • GaussianDreamer：从文本到 3D 高斯点云投射的快速生成

    该研究介绍了一种利用 3D 扩散模型和 2D 扩散模型结合的方法，通过高效的 3D 高斯雪花样表示，实现了快速生成高质量的 3D 实例，并且可以实时渲染。

    Oct, 2023

  • DreamGaussian：高效三维内容生成的生成高斯点图方法

    最近在 3D 内容创建方面的最新进展主要利用基于优化的 3D 生成通过得分蒸馏抽样（SDS）。尽管取得了有希望的结果，但这些方法往往受到每个样本优化速度慢的限制，限制了它们的实际应用。本文提出了 DreamGaussian，一个同时实现效率和质量的创新性 3D 内容生成框架。我们的关键见解是在 UV 空间中设计了一个具有伴随网格提取和纹理细化功能的生成性 3D 高斯飞溅模型。与神经辐射场中使用的占位修剪不同，我们证明了 3D 高斯曲线的渐进致密化对于 3D 生成任务的收敛速度更快。为了进一步提高纹理质量并促进下游应用，我们引入了一种将 3D 高斯曲线转换为纹理网格的高效算法，并应用了一个微调阶段来细化细节。大量实验证明了我们提出方法的卓越效率和竞争的生成质量。值得注意的是，DreamGaussian 从单视图图像中仅用 2 分钟即可生成高质量的纹理网格，与现有方法相比加速了大约 10 倍。

    Sep, 2023