May, 2024

GSDeformer：基于直接笼式变形的三维高斯点云投影

PDF
TL;DR我们提出了 GSDeformer，这是一种在不需要任何架构变动的情况下，在 3D Gaussian Splatting (3DGS) 上实现自由形变的方法。我们的方法将传统的网格变形方法 (基于 cage 的变形) 扩展到了 3DGS 上，通过将 3DGS 转换为新型的代理点云表示形式，可以推断出应用于构成 3DGS 的 3D 高斯函数的变换。同时，我们还提出了一种自动构建 3DGS cage 的算法，以减少手动工作。我们的方法不修改 3DGS 的基本架构，因此任何现有的已经训练好的标准 3DGS 都可以轻松地通过我们的方法进行编辑。通过与其他现有方法比较我们的方法的变形能力，我们证明了我们的方法的易于使用和可比较的质量，尽管更加直接，因此更容易与 3DGS 上的其他并行开发集成。
发现论文，激发创造
  • 基于网格的高斯映射在实时大规模变形中的应用

    通过创新的基于网格的高斯喷洒（GS）表示方法，在保持高质量渲染结果的同时，实现了高质量的重构和有效的变形，每秒平均 65 帧。

    Feb, 2024

  • Deform3DGS: 高斯点云绘制技术的灵活变形用于快速手术场景重建

    通过将 3D GS 集成到手术场景中并引入新的灵活变形建模方案（FDM），本文提出了一种名为 Deform3DGS 的快速重建框架，该框架能够在内窥镜手术中对可变形组织进行实时重建，加速手术现场重建并在临床中具有重要的临床应用价值。

    May, 2024

  • 基于高斯嵌入的形变方法用于可变形的三维高斯点云绘制

    3D 高斯点精细喷洒（3DGS）将用于快速高质量的新视角合成，可自然延伸至多帧变形。通过将变形定义为基于每个高斯点嵌入和时间嵌入的函数，并将变形分解为粗变形和细变形以模拟缓慢和快速运动，作者解决了通过协调基于坐标的框架的错误设计所导致的准确重建动态场景的问题，并提出了一种高效训练策略以实现更快收敛和更高质量。

    Apr, 2024

  • 实时动态场景渲染的 4D 高斯喷墨

    4D 高斯喷洒 (4D-GS) 方法以高效率表示和呈现动态场景，通过构建有效的变形场来模拟高斯运动和形状变形，实现了高分辨率下的实时渲染，并且在保持与先前最新技术方法相当或更高质量的同时达到了 70 FPS。

    Oct, 2023

  • LGS：一种高效的手术场景重建轻量级 4D 高斯喷洒

    通过引入轻量级 4D 高斯光斑框架（LGS），该研究解决了在资源有限的手术设备中妨碍实时渲染的存储问题，并在动态内窥镜重建中展现出较高的压缩率、良好的视觉质量和实时渲染效率。

    Jun, 2024

  • 运动感知的高斯点云成型在高效动态场景重建中的应用

    提出了一种新的运动感知增强框架，通过挖掘光流中的有用运动线索来改进动态场景重建，以提高不同动态 3D 高斯喷溅方式的性能，并针对基于形变的范例提出了一种瞬态感知形变辅助模块。经过广泛的实验证明，与基线相比，我们的方法在渲染质量和效率方面都表现出明显的优势。

    Mar, 2024

  • 3D 高斯点绘制的近期进展

    使用一组高斯椭球来模拟场景，从而实现高效渲染，3D 高斯喷涂表示法具有快速渲染、动态重建、几何编辑和物理模拟等优点。本文通过对最近的 3D 高斯喷涂方法进行文献综述，提供了一个 3D 高斯喷涂方法的分类，包括 3D 重建、3D 编辑和其他功能应用，以及传统的基于点的渲染方法和 3D 高斯喷涂的渲染公式，旨在帮助初学者快速了解这一领域并为经验丰富的研究者提供全面的概述，以推动 3D 高斯喷涂表示法的未来发展。

    Mar, 2024

  • 高斯飘点下可变形内窥镜组织重构

    应用高斯喷洒方法进行可变形内窥镜组织重构，采用变形场处理动态场景、深度引导监督优化三维目标并使用时空权重掩模减轻工具遮挡，从单视角视频、估计的深度图和标记的工具掩模中重建和呈现高质量的可变形内窥镜组织。

    Jan, 2024

  • 三维几何感知的可变形高斯光斑在动态视图合成中的应用

    本文提出了一种 3D 几何感知可变形高斯喷洒方法，用于动态视图合成。我们的解决方案通过显式提取和融合 3D 几何特征来实现 3D 几何感知的变形建模，从而实现改进的动态视图合成和 3D 动态重建。

    Apr, 2024

  • 面向三维感知生成对抗网络的高斯喷洒解码器

    本文介绍了一种将 NeRF-based 3D-aware GANs 的高渲染质量与 3D Gaussian Splatting 的灵活性和计算优势相结合的新方法。通过训练一个解码器，将隐式的 NeRF 表示映射到显式的 3D Gaussian Splatting 属性，我们可以首次将 3D GANs 的代表性多样性和质量整合到 3D Gaussian Splatting 的生态系统中。此外，我们的方法还允许高分辨率 GAN 反演和实时 GAN 编辑与 3D Gaussian Splatting 场景的结合。

    Apr, 2024