亮梦想者:通用的 3D 高斯生成框架用于快速文本到 3D 合成
提出了一种名为 GaussianDreamerPro 的新框架,通过将高斯函数与合理几何形状相结合,逐步丰富几何与外观,构建了与以前方法相比具有显着改进细节和质量的 3D 高斯函数绑定网格的生成资产,可无缝集成于下游操作流水线,大大扩展了其在广泛应用中的潜力。
Jun, 2024
通过 ClotheDreamer, 一种基于高斯的方法,从文本提示中生成可穿戴的、适合生产的 3D 服装,可用于虚拟试穿和支持精确动画。
Jun, 2024
介绍了一种名为 GradeADreamer 的新型三阶段训练流程,使用单个 RTX 3090 GPU,在 30 分钟内生成高质量资产,解决了文本到 3D 生成中常见的 Multi-face Janus 问题和延长生成时间的挑战。通过使用 Multi-view Diffusion Model (MVDream) 生成 Gaussian Splats 作为先验,以及使用 StableDiffusion 优化几何和纹理,实验证明该方法显著缓解了 Multi-face Janus 问题,并且在用户偏好排名上达到了最高平均水平。项目代码可在此 URL 找到。
Jun, 2024
提出 DreamScene,一个基于 3D 高斯模型的文本生成三维场景框架,使用 Formation Pattern Sampling 和三阶段摄像机采样策略解决现有方法中的质量、一致性、编辑灵活性等问题,通过整合对象和环境实现场景编辑的灵活性,并实验证实其在各种应用中的优越性。
Apr, 2024
最近在 3D 内容创建方面的最新进展主要利用基于优化的 3D 生成通过得分蒸馏抽样(SDS)。尽管取得了有希望的结果,但这些方法往往受到每个样本优化速度慢的限制,限制了它们的实际应用。本文提出了 DreamGaussian,一个同时实现效率和质量的创新性 3D 内容生成框架。我们的关键见解是在 UV 空间中设计了一个具有伴随网格提取和纹理细化功能的生成性 3D 高斯飞溅模型。与神经辐射场中使用的占位修剪不同,我们证明了 3D 高斯曲线的渐进致密化对于 3D 生成任务的收敛速度更快。为了进一步提高纹理质量并促进下游应用,我们引入了一种将 3D 高斯曲线转换为纹理网格的高效算法,并应用了一个微调阶段来细化细节。大量实验证明了我们提出方法的卓越效率和竞争的生成质量。值得注意的是,DreamGaussian 从单视图图像中仅用 2 分钟即可生成高质量的纹理网格,与现有方法相比加速了大约 10 倍。
Sep, 2023
本研究提出了一种名为 GarmentDreamer 的新型方法,它利用 3D 高斯喷雾(GS)作为指导,从文本提示中生成适用于仿真的 3D 服装网格。与使用由生成模型直接预测的多视图图像作为指导相比,我们的 3DGS 指导确保了服装变形和纹理合成的一致优化。通过全面的定性和定量实验证明了我们方法的有效性,并展示了 GarmentDreamer 相对于现有最先进方法的卓越性能。
May, 2024
BoostDream 是一个高效的插件式 3D 细化方法,能够将粗糙的 3D 资产转化为高质量的 3D 资产,通过引入 3D 模型蒸馏、新颖的多视角 SDS 损失设计以及使用提示和多视角一致的法线图作为指导。与常规基于 SDS 方法相比,BoostDream 在生成高质量的 3D 资产方面表现出色,克服了双面问题,从而实现了 3D 生成过程的效率和质量的重大进展。
Jan, 2024
提出了一种新的基于文本的 3D 生成框架,名为 Instant3D,使用前向网络在不到一秒的时间内为未见的文本提示创建一个 3D 对象,并解决了 Janus 问题的多头效应。
Nov, 2023
基于文本提示生成真实的 3D 人体是一项令人向往但具有挑战性的任务。本文提出了一种高效而有效的框架 HumanGaussian,通过结构感知的 SDS 和退火负向提示引导,以及适应性高斯喷洒渲染器,在细节和训练时间方面取得了优越的性能。
Nov, 2023
本文提出了一种名为 Grounded-Dreamer 的有效两阶段方法,通过使用预训练的多视角扩散模型,在准确遵循复杂的、构成性的文本提示的同时实现高保真度,生成能够准确遵循复杂、构成性文本提示的 3D 资产。
Apr, 2024