DreamScene: 通过形成模式采样生成基于 3D 高斯的文本到 3D 场景
DreamScape 是一种通过文本描述创建高度一致的 3D 场景的方法,利用高斯飞溅和大型语言模型的强大 3D 表示能力,并通过局部到整体优化来解决多实例和复杂排列的挑战。
Apr, 2024
提出了一种名为 FastScene 的快速且高质量的 3D 场景生成框架,通过生成全景图和估计景深来保持场景一致性,并通过多角度投影和 3D 高斯喷洒等策略实现透视视图和场景重建,能在仅 15 分钟内生成一个 3D 场景。
May, 2024
利用文本驱动的 3D 场景生成技术,在构建 3D 场景时通过使用现有的生成模型进行图像变形和修复,同时结合查询和聚合全局 3D 信息来生成高质量的新内容,并在支持多种场景生成和任意相机路径的同时改善视觉效果和 3D 一致性。
Mar, 2024
提出了一种名为 GaussianDreamerPro 的新框架,通过将高斯函数与合理几何形状相结合,逐步丰富几何与外观,构建了与以前方法相比具有显着改进细节和质量的 3D 高斯函数绑定网格的生成资产,可无缝集成于下游操作流水线,大大扩展了其在广泛应用中的潜力。
Jun, 2024
BrightDreamer 是一种端到端的单阶段方法,可以实现通用且快速(77 毫秒)的文本到 3D 生成,通过估算 3D 变形、形状基准位置和各种属性来生成百万个 3D Gaussian。
Mar, 2024
我们提供了一个文本转 3D 360 度场景生成流水线,能够在几分钟内为野外环境创建综合的 360 度场景。我们的方法利用 2D 扩散模型的生成能力和提示自我完善来创建高质量和全局连贯的全景图像,这作为一个初步的 “平面”(2D)场景表示。随后,通过采用粒子技术将它提升到 3D 高斯函数,以实现实时浏览。为了产生一致的 3D 几何结构,我们的流水线通过将 2D 单目深度对齐成全局优化点云,构建了一个空间连贯的结构。这个点云作为 3D 高斯函数的初始状态的质心。为了解决单视角输入固有的不可见问题,我们对合成和输入相机视图应用语义和几何约束作为规范,这些约束指导高斯函数的优化,帮助重建不可见的区域。总之,我们的方法提供了一个全局一致的 360 度视角的 3D 场景,相较于现有技术提供了更加增强的沉浸式体验。项目网址:this http URL
Apr, 2024
最近在 3D 内容创建方面的最新进展主要利用基于优化的 3D 生成通过得分蒸馏抽样(SDS)。尽管取得了有希望的结果,但这些方法往往受到每个样本优化速度慢的限制,限制了它们的实际应用。本文提出了 DreamGaussian,一个同时实现效率和质量的创新性 3D 内容生成框架。我们的关键见解是在 UV 空间中设计了一个具有伴随网格提取和纹理细化功能的生成性 3D 高斯飞溅模型。与神经辐射场中使用的占位修剪不同,我们证明了 3D 高斯曲线的渐进致密化对于 3D 生成任务的收敛速度更快。为了进一步提高纹理质量并促进下游应用,我们引入了一种将 3D 高斯曲线转换为纹理网格的高效算法,并应用了一个微调阶段来细化细节。大量实验证明了我们提出方法的卓越效率和竞争的生成质量。值得注意的是,DreamGaussian 从单视图图像中仅用 2 分钟即可生成高质量的纹理网格,与现有方法相比加速了大约 10 倍。
Sep, 2023
通过利用预训练的 T2I 扩散模型,借助预定时间步长安排,将文本到 3D 优化提升为多视角图像到图像转换问题,我们提出了一种新的优化算法和实用的三阶段粗到精的文本到 3D 优化框架 DreamFlow,实现快速生成高质量、高分辨率(1024x1024)的 3D 内容。
Mar, 2024
提出了 CG3D 方法,通过使用显式高斯辐射场来生成可扩展的三维资产,解决了基于文本的三维生成的限制,能够产生详细的多物体场景,并通过使用显式表示构建指导框架,在对象组合和物理准确性方面展示了领先于现有模型的结果。
Nov, 2023
通过 DreamControl 的两阶段 2D-lifting 框架,实现了在 3D 生成中解决几何不一致性的 Janus 问题,并生成出几何一致性和纹理保真度都很高的高质量 3D 内容。
Dec, 2023