FDGaussian: 从单张图像中快速生成高斯喷溅的几何感知扩散模型
从稀疏视图中重建和渲染 3D 物体是促进 3D 视觉技术应用和提高用户体验的关键。本文提出了 GaussianObject 框架,通过高斯散射达到高质量渲染,仅需 4 张输入图像,解决了构建多视角一致性和补充遗漏物体信息的困难,同时在多个数据集上显示出卓越的重建效果,超越现有方法。
Feb, 2024
基于高斯喷射的文本到三维内容生成框架,通过控制高斯球的透明度实现更真实的图像生成;通过引入多视角噪声分布矫正多视角几何中的不一致性;使用变分高斯喷射技术提高三维外观的质量和稳定性。
Nov, 2023
我们介绍了 Splatter Image,这是一种超快的单目三维物体重建方法,运行速度达到每秒 38 帧。Splatter Image 基于高斯颗粒化技术,该技术近期实现了实时渲染、快速训练和出色的多视角重建扩展性。我们首次将高斯颗粒化应用于单目重建领域。我们的方法基于学习,测试时只需要前馈评估一个神经网络即可完成重建。Splatter Image 的主要创新之处在于其设计意外地简单:它使用一个二维图像到图像的网络将输入图像映射到每个像素点上的一个三维高斯。因此,所得到的高斯形式呈现为一张图像,即 Splatter Image。我们进一步扩展了该方法,使用多个图像作为输入,并通过添加交叉视图注意力来实现。由于渲染器的速度(每秒 588 帧),我们可以在训练时只使用一个 GPU,在每次迭代中生成整个图像,以优化 LPIPS 等感知度量标准。在标准基准测试中,我们不仅展示了快速重建,而且在 PSNR、LPIPS 和其他度量标准方面相比最近和更昂贵的基线方法取得了更好的结果。
Dec, 2023
通过前向推理,我们介绍了一种从单张图像高效生成三维模型的新方法,利用基于 Transformer 的网络,即点解码器和三面解码器,通过混合的 Triplane-Gaussian 中间表示重建三维物体,从而在渲染速度和渲染质量上实现了平衡,并比之前的技术在质量和运行时间方面取得了更好的效果。
Dec, 2023
图像基于的三维重建是一项具有挑战性的任务,涉及从一组输入图像中推断出对象或场景的三维形状。基于学习的方法因其直接估计三维形状的能力而受到关注。本综述论文着重介绍了三维重建的最新技术,包括生成新颖未见视角的方法。论文提供了对高斯激波方法的最新发展的概述,包括输入类型、模型结构、输出表示和训练策略。未解决的挑战和未来的研究方向也得到了讨论。鉴于该领域的快速进展以及增强三维重建方法的众多机会,对算法进行全面的研究至关重要。因此,本研究全面概述了高斯激波最新进展。
May, 2024
从单幅图像中学习可推广的三维人体高斯模型,通过扩散引导的三维人体建模框架,结合几何先验和注意机制,有效地恢复细节几何形状和外观,并具备在自然环境中的强大泛化能力。
Jun, 2024
通过将三维体积转化为一组二维定向平面高斯盘,使用透视准确的二维喷洒过程,结合深度扭曲和法线一致性项,实现从多视角图像中准确重建细表面并提高重建质量的一种方法。
Mar, 2024
使用一组高斯椭球来模拟场景,从而实现高效渲染,3D 高斯喷涂表示法具有快速渲染、动态重建、几何编辑和物理模拟等优点。本文通过对最近的 3D 高斯喷涂方法进行文献综述,提供了一个 3D 高斯喷涂方法的分类,包括 3D 重建、3D 编辑和其他功能应用,以及传统的基于点的渲染方法和 3D 高斯喷涂的渲染公式,旨在帮助初学者快速了解这一领域并为经验丰富的研究者提供全面的概述,以推动 3D 高斯喷涂表示法的未来发展。
Mar, 2024
给定增长需求的自动三维内容创建管道,研究了各种三维表示方法以从单个图像生成三维物体。提出了一种名为 AGG 的摊销生成三维高斯架构,可以从单个图像即时生成三维高斯物体,不再需要逐个实例的优化。通过利用中间混合表示,AGG 将生成三维高斯位置和其他外观属性进行联合优化。此外,提出了一个级联的流水线,先生成三维数据的粗略表示,然后使用三维高斯超分辨率模块进行上采样。通过与基于优化和基于采样的其它三维表示方法相比较,我们的方法在定性和定量上展示了具有竞争力的生成能力,同时速度提升了数个数量级。
Jan, 2024
本研究介绍了一种新方法 EndoGaussians,利用高斯散射进行动态内窥镜 3D 重建,克服了现有技术的局限性,为医学专业人员提供更可靠高效的 3D 重建用于医学应用。
Jan, 2024