我们提供了一个文本转 3D 360 度场景生成流水线，能够在几分钟内为野外环境创建综合的 360 度场景。我们的方法利用 2D 扩散模型的生成能力和提示自我完善来创建高质量和全局连贯的全景图像，这作为一个初步的 “平面”（2D）场景表示。随后，通过采用粒子技术将它提升到 3D 高斯函数，以实现实时浏览。为了产生一致的 3D 几何结构，我们的流水线通过将 2D 单目深度对齐成全局优化点云，构建了一个空间连贯的结构。这个点云作为 3D 高斯函数的初始状态的质心。为了解决单视角输入固有的不可见问题，我们对合成和输入相机视图应用语义和几何约束作为规范，这些约束指导高斯函数的优化，帮助重建不可见的区域。总之，我们的方法提供了一个全局一致的 360 度视角的 3D 场景，相较于现有技术提供了更加增强的沉浸式体验。项目网址：this http URL

Apr, 2024

提出 DreamScene，一个基于 3D 高斯模型的文本生成三维场景框架，使用 Formation Pattern Sampling 和三阶段摄像机采样策略解决现有方法中的质量、一致性、编辑灵活性等问题，通过整合对象和环境实现场景编辑的灵活性，并实验证实其在各种应用中的优越性。

Apr, 2024

4D 高斯喷洒是一种在动态场景下表示动态场景的新方法，通过时间切片和投影技术实现了对复杂运动和细节的建模，并在实时渲染方面取得了显著的效果和效率优势。

Feb, 2024

利用文本驱动的 3D 场景生成技术，在构建 3D 场景时通过使用现有的生成模型进行图像变形和修复，同时结合查询和聚合全局 3D 信息来生成高质量的新内容，并在支持多种场景生成和任意相机路径的同时改善视觉效果和 3D 一致性。

Mar, 2024

通过将点云表示与端到端的稠密立体模型相结合，InstantSplat 能够在不到 1 分钟的时间内从稀疏视图和无姿态图像中构建大规模场景的三维高斯平面，并显著提高 SSIM （32%）且同时降低绝对轨迹误差（ATE）80%。

Mar, 2024

提出了一种新颖的室内场景纹理生成框架，通过联想和模仿技术，以及采用粗到精的全景纹理生成方法和双重纹理对齐，实现了以文本为驱动的纹理生成，具有迷人的细节和真实的空间一致性。

Oct, 2023

我们介绍了一种新颖的方法，可以从单目捕捉中进行动态自由视图合成，为观看体验带来沉浸感。我们的方法基于对复杂静态场景进行忠实重建的 3D 高斯点插值（3DGS）的最新进展。通过利用环境动力学的周期性来学习运动轨迹模型，并结合谨慎的正则化来克服以往将 3DGS 扩展到表示动态时遇到的局限性，这些局限性包括仅适用于有界场景或需要多摄像机捕捉，并且通常无法推广到未见过的运动，限制了它们的实际应用。我们还提出了一些重要的实用策略，以提高基线 3DGS 静态重建的视觉质量，并提高 GPU 内存密集学习的内存效率，展示了多个环境自然场景的高质量照片逼真的新视图合成，其中包含复杂的纹理和精细的结构元素。

Jun, 2024

基于单目视频的全局静态场景模型和逐帧点云的动态内容的混合视频表示方法能够实时合成高质量的新视图，并且训练速度比现有方法快 100 倍。

Dec, 2023

通过引入低成本跨视聚集、像素级三元组融合和简单有效的自由视图训练策略，我们提出了一个能够从长序列输入中重建几何一致的 3D 场景并实现自由视图合成的新方法 FreeSplat，研究结果表明其在不同数量的输入视图下，在新视图生成的颜色贴图质量和深度图准确性方面都达到了最新水平，并且 FreeSplat 的推断效率更高，能够有效减少冗余的高斯函数，为无需深度先验的大场景重建提供了可能。

May, 2024

我们提出了两种新的输入处理范例来对基于分层场景表示的新视角综合（NVS）方法进行改进，极大地提高了其运行时速度而不损失质量，实现了实时应用。

Dec, 2023