GaussianDreamer:从文本到 3D 高斯点云投射的快速生成
基于高斯喷射的文本到三维内容生成框架,通过控制高斯球的透明度实现更真实的图像生成;通过引入多视角噪声分布矫正多视角几何中的不一致性;使用变分高斯喷射技术提高三维外观的质量和稳定性。
Nov, 2023
最近在 3D 内容创建方面的最新进展主要利用基于优化的 3D 生成通过得分蒸馏抽样(SDS)。尽管取得了有希望的结果,但这些方法往往受到每个样本优化速度慢的限制,限制了它们的实际应用。本文提出了 DreamGaussian,一个同时实现效率和质量的创新性 3D 内容生成框架。我们的关键见解是在 UV 空间中设计了一个具有伴随网格提取和纹理细化功能的生成性 3D 高斯飞溅模型。与神经辐射场中使用的占位修剪不同,我们证明了 3D 高斯曲线的渐进致密化对于 3D 生成任务的收敛速度更快。为了进一步提高纹理质量并促进下游应用,我们引入了一种将 3D 高斯曲线转换为纹理网格的高效算法,并应用了一个微调阶段来细化细节。大量实验证明了我们提出方法的卓越效率和竞争的生成质量。值得注意的是,DreamGaussian 从单视图图像中仅用 2 分钟即可生成高质量的纹理网格,与现有方法相比加速了大约 10 倍。
Sep, 2023
基于文本提示生成真实的 3D 人体是一项令人向往但具有挑战性的任务。本文提出了一种高效而有效的框架 HumanGaussian,通过结构感知的 SDS 和退火负向提示引导,以及适应性高斯喷洒渲染器,在细节和训练时间方面取得了优越的性能。
Nov, 2023
提出了一种名为 GaussianDreamerPro 的新框架,通过将高斯函数与合理几何形状相结合,逐步丰富几何与外观,构建了与以前方法相比具有显着改进细节和质量的 3D 高斯函数绑定网格的生成资产,可无缝集成于下游操作流水线,大大扩展了其在广泛应用中的潜力。
Jun, 2024
提出了 CG3D 方法,通过使用显式高斯辐射场来生成可扩展的三维资产,解决了基于文本的三维生成的限制,能够产生详细的多物体场景,并通过使用显式表示构建指导框架,在对象组合和物理准确性方面展示了领先于现有模型的结果。
Nov, 2023
我们提供了一个文本转 3D 360 度场景生成流水线,能够在几分钟内为野外环境创建综合的 360 度场景。我们的方法利用 2D 扩散模型的生成能力和提示自我完善来创建高质量和全局连贯的全景图像,这作为一个初步的 “平面”(2D)场景表示。随后,通过采用粒子技术将它提升到 3D 高斯函数,以实现实时浏览。为了产生一致的 3D 几何结构,我们的流水线通过将 2D 单目深度对齐成全局优化点云,构建了一个空间连贯的结构。这个点云作为 3D 高斯函数的初始状态的质心。为了解决单视角输入固有的不可见问题,我们对合成和输入相机视图应用语义和几何约束作为规范,这些约束指导高斯函数的优化,帮助重建不可见的区域。总之,我们的方法提供了一个全局一致的 360 度视角的 3D 场景,相较于现有技术提供了更加增强的沉浸式体验。项目网址:this http URL
Apr, 2024
使用稀疏射线采样方法通过关键点监督,实现了在当前管道中显式注入来自检索参考对象的 3D 先验,以确保高质量和多样化的 3D 几何,同时保持 2D 扩散模型的生成质量和多视角一致性。
Mar, 2024
通过结合扩散模型和 3D 高斯喷洒技术提出一种名为 ART3D 的新型框架,有效地通过创新的图像语义迁移算法来弥合艺术与现实图像之间的差距,并且通过利用深度信息和初始艺术图像生成点云地图来解决领域差异,并且提出了深度一致性模块来提高 3D 场景的一致性,最后,3D 场景作为优化高斯喷洒的初始点,实验结果表明与现有方法相比,ART3D 在内容和结构一致性指标上具有优越的性能,为生成高质量的 3D 艺术场景提供了创新解决方案,极大地推动了人工智能在艺术创作领域的发展。
May, 2024