May, 2024

特征分割以减少重叠度的优化新视角合成

PDF
TL;DR利用特征喷溅（FeatSplat）将三维高斯场的颜色信息编码到每个高斯特征向量中，进而通过小型 MLP 解码融合的特征向量以生成 RGB 像素值，且通过叠加相机嵌入来条件解码以包含视角信息。实验证明，该方法显著提高了对训练视图之外远离的低重叠视图的新视图合成，并展示了特征向量表示的能力不仅可以生成新视图的 RGB 值，还可以生成每个像素的语义标签。
gaussian splattingnovel view synthesisfeature splattingscene representationper-gaussian feature vectors
发现论文，激发创造
  • 实时动态视角合成的时空高斯特征喷洒

    提出了一种新的动态场景视图合成方法，通过引入时间、运动和旋转参数增强了三维高斯函数，使用神经特征进行渲染，同时在具有挑战性的区域中利用训练误差和粗略深度进行高分辨率、实时渲染，并保持紧凑存储。

    Dec, 2023

  • 快速新视角合成的压缩 3D 高斯点云

    通过优化 3D 高斯飞溅表示法，将高保真度场景重建应用于稀疏图像集合的新视角合成，并通过压缩的 3D 高斯飞溅表示法，在显著降低内存消耗和提高渲染效率的基础上，实现了对方向性颜色和高斯参数进行压缩。在多个数据集上进行广泛实验，证明了该方法的鲁棒性和渲染速度。

    Nov, 2023

  • 特征投射与基于语言的基于物理的场景合成和编辑

    使用 3D 高斯原始物体来建模静态和动态 3D 场景的外观已经取得了优秀的结果。本研究提出了一种统一物理动态场景合成和由自然语言支持的丰富语义的特征平面化方法。通过将高质量的面向对象视觉语言特征整合为 3D 高斯模型，能够利用文本查询实现半自动场景分解。同时，通过基于粒子的模拟器从静态场景中合成物理动力学，通过文本查询自动分配材料属性。本研究在这一流程中消去了关键技术，以说明将携带特征的 3D 高斯模型作为外观、几何、材料属性和基于自然语言的语义的统一格式的挑战和机遇。

    Apr, 2024

  • 3D 高斯点绘制的近期进展

    使用一组高斯椭球来模拟场景，从而实现高效渲染，3D 高斯喷涂表示法具有快速渲染、动态重建、几何编辑和物理模拟等优点。本文通过对最近的 3D 高斯喷涂方法进行文献综述，提供了一个 3D 高斯喷涂方法的分类，包括 3D 重建、3D 编辑和其他功能应用，以及传统的基于点的渲染方法和 3D 高斯喷涂的渲染公式，旨在帮助初学者快速了解这一领域并为经验丰富的研究者提供全面的概述，以推动 3D 高斯喷涂表示法的未来发展。

    Mar, 2024

  • FreeSplat: 室内场景的自由视角综合的通用化三维高斯点采样

    通过引入低成本跨视聚集、像素级三元组融合和简单有效的自由视图训练策略，我们提出了一个能够从长序列输入中重建几何一致的 3D 场景并实现自由视图合成的新方法 FreeSplat，研究结果表明其在不同数量的输入视图下，在新视图生成的颜色贴图质量和深度图准确性方面都达到了最新水平，并且 FreeSplat 的推断效率更高，能够有效减少冗余的高斯函数，为无需深度先验的大场景重建提供了可能。

    May, 2024

  • 高斯飞溅式生成

    使用三维高斯喷洒方法进行场景风格化研究，通过在多视角环境中保持一致的风格外观来产生高质量的风格化新视角，实现了在增强现实或虚拟现实应用中具有卓越视觉质量的最新表现。

    Mar, 2024

  • 三维几何感知的可变形高斯光斑在动态视图合成中的应用

    本文提出了一种 3D 几何感知可变形高斯喷洒方法，用于动态视图合成。我们的解决方案通过显式提取和融合 3D 几何特征来实现 3D 几何感知的变形建模，从而实现改进的动态视图合成和 3D 动态重建。

    Apr, 2024

  • 去模糊的三维高斯渲染

    我们提出了一种新颖的实时去模糊框架，利用小型多层感知机（MLP）操纵每个 3D 高斯的协方差来建模场景的模糊程度，从模糊的图像中重构出细节清晰的图像，实现实时渲染。

    Jan, 2024

  • 高斯 - SLAM：基于高斯投射的高清稠密 SLAM

    我们提出了一种新的稠密同时定位与建图（SLAM）方法，该方法使用高斯斑点作为场景表示。该新的表示方法能够实时重建和真实渲染真实世界和合成场景，并通过提出新的策略来扩展高斯斑点的应用，使其从多视角离线场景扩展到顺序单色 RGBD 输入数据的设置。此外，我们还将高斯斑点扩展到编码几何并通过跟踪在此场景表示上进行实验。我们的方法在真实世界和合成数据集上实现了最先进的渲染质量，同时在重建性能和运行时间方面具有竞争力。

    Dec, 2023

  • MVSplat: 从稀疏多视角图像中高效的三维高斯粒子渲染

    我们提出了一种称为 MVSplat 的高效前馈 3D 高斯分割模型，通过稀疏多视图图像进行学习。为了准确定位高斯中心，我们通过在三维空间中进行平面扫描来建立成本体积表示，其中成本体积中存储的跨视图特征相似性可以为深度估计提供宝贵的几何线索。我们在只依靠光度监督的情况下，同时学习高斯原始图的透明度、协方差和球面谐波系数。通过广泛的实验评估，我们展示了成本体积表示在学习前馈高斯分割模型中的重要性。在大规模的 RealEstate10K 和 ACID 基准测试中，我们的模型以最快的前馈推断速度（22 帧 / 秒）实现了最先进的性能。与最新的最先进方法 pixelSplat 相比，我们的模型使用的参数数量少了 10 倍，推断速度更快了两倍，同时还提供更高的外观和几何质量以及更好的跨数据集泛化能力。

    Mar, 2024