DreamScape: 通过高斯喷洒联合相关建模实现的 3D 场景创建
最近在 3D 内容创建方面的最新进展主要利用基于优化的 3D 生成通过得分蒸馏抽样（SDS）。尽管取得了有希望的结果，但这些方法往往受到每个样本优化速度慢的限制，限制了它们的实际应用。本文提出了 DreamGaussian，一个同时实现效率和质量的创新性 3D 内容生成框架。我们的关键见解是在 UV 空间中设计了一个具有伴随网格提取和纹理细化功能的生成性 3D 高斯飞溅模型。与神经辐射场中使用的占位修剪不同，我们证明了 3D 高斯曲线的渐进致密化对于 3D 生成任务的收敛速度更快。为了进一步提高纹理质量并促进下游应用，我们引入了一种将 3D 高斯曲线转换为纹理网格的高效算法，并应用了一个微调阶段来细化细节。大量实验证明了我们提出方法的卓越效率和竞争的生成质量。值得注意的是，DreamGaussian 从单视图图像中仅用 2 分钟即可生成高质量的纹理网格，与现有方法相比加速了大约 10 倍。
Sep, 2023
我们提供了一个文本转 3D 360 度场景生成流水线，能够在几分钟内为野外环境创建综合的 360 度场景。我们的方法利用 2D 扩散模型的生成能力和提示自我完善来创建高质量和全局连贯的全景图像，这作为一个初步的 “平面”（2D）场景表示。随后，通过采用粒子技术将它提升到 3D 高斯函数，以实现实时浏览。为了产生一致的 3D 几何结构，我们的流水线通过将 2D 单目深度对齐成全局优化点云，构建了一个空间连贯的结构。这个点云作为 3D 高斯函数的初始状态的质心。为了解决单视角输入固有的不可见问题，我们对合成和输入相机视图应用语义和几何约束作为规范，这些约束指导高斯函数的优化，帮助重建不可见的区域。总之，我们的方法提供了一个全局一致的 360 度视角的 3D 场景，相较于现有技术提供了更加增强的沉浸式体验。项目网址：this http URL
Apr, 2024
提出 DreamScene，一个基于 3D 高斯模型的文本生成三维场景框架，使用 Formation Pattern Sampling 和三阶段摄像机采样策略解决现有方法中的质量、一致性、编辑灵活性等问题，通过整合对象和环境实现场景编辑的灵活性，并实验证实其在各种应用中的优越性。
Apr, 2024
使用现有的大规模扩散式生成模型，LucidDreamer 提出了一种无域场景生成管道，通过完全利用现有的大规模扩散式生成模型的能力来解决现有模型对特定领域场景的限制。
Nov, 2023
提出了 CG3D 方法，通过使用显式高斯辐射场来生成可扩展的三维资产，解决了基于文本的三维生成的限制，能够产生详细的多物体场景，并通过使用显式表示构建指导框架，在对象组合和物理准确性方面展示了领先于现有模型的结果。
Nov, 2023
我们提出了 GALA3D，一种具备布局引导控制的生成式 3D 高斯模型，用于有效的文本到 3D 生成。我们首先利用大型语言模型（LLMs）生成初始布局，并引入了布局引导的 3D 高斯表示，以适应几何约束下的 3D 内容生成。然后，我们使用条件扩散的对象场景组合优化机制协同生成具有一致几何、纹理、比例和准确互动的真实 3D 场景，同时调整从 LLMs 中提取的粗略布局优先级以与生成的场景相一致。实验证明，GALA3D 是一个用户友好的端到端框架，可用于最先进的场景级 3D 内容生成和可控制的编辑，并确保场景中的物体级实体的高保真度。源代码和模型可在此网址获得：https://example.com
Feb, 2024
通过几何引导的高斯喷洒方法，DreamPolisher 在从文本描述中学习跨视图一致性和复杂的细节，通过两阶段的基于高斯喷洒的方法进行几何一致性的优化和文本细节的改进，有效地生成与文本指令语义紧密相关的一致而真实的 3D 对象。
Mar, 2024
提出了一种名为 GaussianDreamerPro 的新框架，通过将高斯函数与合理几何形状相结合，逐步丰富几何与外观，构建了与以前方法相比具有显着改进细节和质量的 3D 高斯函数绑定网格的生成资产，可无缝集成于下游操作流水线，大大扩展了其在广泛应用中的潜力。
Jun, 2024
通过结合扩散模型和 3D 高斯喷洒技术提出一种名为 ART3D 的新型框架，有效地通过创新的图像语义迁移算法来弥合艺术与现实图像之间的差距，并且通过利用深度信息和初始艺术图像生成点云地图来解决领域差异，并且提出了深度一致性模块来提高 3D 场景的一致性，最后，3D 场景作为优化高斯喷洒的初始点，实验结果表明与现有方法相比，ART3D 在内容和结构一致性指标上具有优越的性能，为生成高质量的 3D 艺术场景提供了创新解决方案，极大地推动了人工智能在艺术创作领域的发展。
May, 2024
DreamGaussian4D 是一种高效的 4D 生成框架，它建立在 4D 高斯喷洒表示的基础上，通过显式地建模高斯喷洒中的空间变换，提高了 4D 生成的适用性，同时减少了优化时间，增加了对生成的三维动画的灵活控制，产生的动画网格在 3D 引擎中能被高效渲染。
Dec, 2023