使用 DreamGaussian 探索生成真实的濒危物种 3D 模型的可行性：高度角对模型生成的影响分析
最近在 3D 内容创建方面的最新进展主要利用基于优化的 3D 生成通过得分蒸馏抽样（SDS）。尽管取得了有希望的结果，但这些方法往往受到每个样本优化速度慢的限制，限制了它们的实际应用。本文提出了 DreamGaussian，一个同时实现效率和质量的创新性 3D 内容生成框架。我们的关键见解是在 UV 空间中设计了一个具有伴随网格提取和纹理细化功能的生成性 3D 高斯飞溅模型。与神经辐射场中使用的占位修剪不同，我们证明了 3D 高斯曲线的渐进致密化对于 3D 生成任务的收敛速度更快。为了进一步提高纹理质量并促进下游应用，我们引入了一种将 3D 高斯曲线转换为纹理网格的高效算法，并应用了一个微调阶段来细化细节。大量实验证明了我们提出方法的卓越效率和竞争的生成质量。值得注意的是，DreamGaussian 从单视图图像中仅用 2 分钟即可生成高质量的纹理网格，与现有方法相比加速了大约 10 倍。
Sep, 2023
提出了一种名为 GaussianDreamerPro 的新框架，通过将高斯函数与合理几何形状相结合，逐步丰富几何与外观，构建了与以前方法相比具有显着改进细节和质量的 3D 高斯函数绑定网格的生成资产，可无缝集成于下游操作流水线，大大扩展了其在广泛应用中的潜力。
Jun, 2024
通过在动物自然环境下的图片中捕捉 Grevy 斑马的 3D 姿态、形状和纹理信息，为探究动物健康和行为提供了新的路径。该研究开发了一种新的方法，将 SMAL 动物模型与基于网络的回归管道相结合，通过训练合成图片，实现了对斑马形状和姿态的预测，为仅使用光度损失从图像学习形状空间提供了新的途径，并可用于在其他具有受限 3D 监督的情况下学习形状。具体地，该方法称为 SMALST，不仅可以预测动物的 3D 形状、姿态和纹理，而且在预测纹理图的基础上，可以无监督地优化特征。
Aug, 2019
DreamScape 是一种通过文本描述创建高度一致的 3D 场景的方法，利用高斯飞溅和大型语言模型的强大 3D 表示能力，并通过局部到整体优化来解决多实例和复杂排列的挑战。
Apr, 2024
BrightDreamer 是一种端到端的单阶段方法，可以实现通用且快速（77 毫秒）的文本到 3D 生成，通过估算 3D 变形、形状基准位置和各种属性来生成百万个 3D Gaussian。
Mar, 2024
提出了 Animal3D 数据集，为哺乳动物的 3D 姿态和形状估计提供了全面的数据集，实验证明跨物种的动物 3D 形状和姿态的预测仍然是一项非常具有挑战性的任务，合成预训练是提高模型性能的一种可行策略。
Aug, 2023
我们提供了一个文本转 3D 360 度场景生成流水线，能够在几分钟内为野外环境创建综合的 360 度场景。我们的方法利用 2D 扩散模型的生成能力和提示自我完善来创建高质量和全局连贯的全景图像，这作为一个初步的 “平面”（2D）场景表示。随后，通过采用粒子技术将它提升到 3D 高斯函数，以实现实时浏览。为了产生一致的 3D 几何结构，我们的流水线通过将 2D 单目深度对齐成全局优化点云，构建了一个空间连贯的结构。这个点云作为 3D 高斯函数的初始状态的质心。为了解决单视角输入固有的不可见问题，我们对合成和输入相机视图应用语义和几何约束作为规范，这些约束指导高斯函数的优化，帮助重建不可见的区域。总之，我们的方法提供了一个全局一致的 360 度视角的 3D 场景，相较于现有技术提供了更加增强的沉浸式体验。项目网址：this http URL
Apr, 2024
DreamGaussian4D 是一种高效的 4D 生成框架，它建立在 4D 高斯喷洒表示的基础上，通过显式地建模高斯喷洒中的空间变换，提高了 4D 生成的适用性，同时减少了优化时间，增加了对生成的三维动画的灵活控制，产生的动画网格在 3D 引擎中能被高效渲染。
Dec, 2023
通过将不同可分辨外观模型与显式几何表示相结合，我们提出了一种可学习的场景模型，用于准确重构包含显式几何信息的三维场景，实验结果表明，该模型不仅在渲染质量方面达到了最新水平，而且还支持使用显式网格进行操作，并且具有适应场景更新的独特优势。
May, 2024
介绍了一种名为 GradeADreamer 的新型三阶段训练流程，使用单个 RTX 3090 GPU，在 30 分钟内生成高质量资产，解决了文本到 3D 生成中常见的 Multi-face Janus 问题和延长生成时间的挑战。通过使用 Multi-view Diffusion Model (MVDream) 生成 Gaussian Splats 作为先验，以及使用 StableDiffusion 优化几何和纹理，实验证明该方法显著缓解了 Multi-face Janus 问题，并且在用户偏好排名上达到了最高平均水平。项目代码可在此 URL 找到。
Jun, 2024