基于高斯嵌入的形变方法用于可变形的三维高斯点云绘制

Apr, 2024

基于高斯嵌入的形变方法用于可变形的三维高斯点云绘制

Per-Gaussian Embedding-Based Deformation for Deformable 3D Gaussian Splatting

Jeongmin Bae, Seoha Kim, Youngsik Yun, Hahyun Lee, Gun Bang...

TL;DR3D 高斯点精细喷洒（3DGS）将用于快速高质量的新视角合成，可自然延伸至多帧变形。通过将变形定义为基于每个高斯点嵌入和时间嵌入的函数，并将变形分解为粗变形和细变形以模拟缓慢和快速运动，作者解决了通过协调基于坐标的框架的错误设计所导致的准确重建动态场景的问题，并提出了一种高效训练策略以实现更快收敛和更高质量。

Abstract

As 3d gaussian splatting (3DGS) provides fast and high-quality novel view synthesis, it is a natural extension to deform a canonical 3DGS to multiple frames. However, previous works fail to accurately reconstruct dynamic scenes, especially 1) static parts moving along nearby dynamic pa

3d gaussian splatting novel view synthesis deformation field coarse and fine deformations efficient training strategy

发现论文，激发创造

运动感知的高斯点云成型在高效动态场景重建中的应用

提出了一种新的运动感知增强框架，通过挖掘光流中的有用运动线索来改进动态场景重建，以提高不同动态 3D 高斯喷溅方式的性能，并针对基于形变的范例提出了一种瞬态感知形变辅助模块。经过广泛的实验证明，与基线相比，我们的方法在渲染质量和效率方面都表现出明显的优势。

Mar, 2024

三维几何感知的可变形高斯光斑在动态视图合成中的应用

本文提出了一种 3D 几何感知可变形高斯喷洒方法，用于动态视图合成。我们的解决方案通过显式提取和融合 3D 几何特征来实现 3D 几何感知的变形建模，从而实现改进的动态视图合成和 3D 动态重建。

Apr, 2024

Deform3DGS: 高斯点云绘制技术的灵活变形用于快速手术场景重建

通过将 3D GS 集成到手术场景中并引入新的灵活变形建模方案（FDM），本文提出了一种名为 Deform3DGS 的快速重建框架，该框架能够在内窥镜手术中对可变形组织进行实时重建，加速手术现场重建并在临床中具有重要的临床应用价值。

May, 2024

基于网格的高斯映射在实时大规模变形中的应用

通过创新的基于网格的高斯喷洒（GS）表示方法，在保持高质量渲染结果的同时，实现了高质量的重构和有效的变形，每秒平均 65 帧。

Feb, 2024

GSDeformer：基于直接笼式变形的三维高斯点云投影

我们提出了 GSDeformer，这是一种在不需要任何架构变动的情况下，在 3D Gaussian Splatting (3DGS) 上实现自由形变的方法。我们的方法将传统的网格变形方法 (基于 cage 的变形) 扩展到了 3DGS 上，通过将 3DGS 转换为新型的代理点云表示形式，可以推断出应用于构成 3DGS 的 3D 高斯函数的变换。同时，我们还提出了一种自动构建 3DGS cage 的算法，以减少手动工作。我们的方法不修改 3DGS 的基本架构，因此任何现有的已经训练好的标准 3DGS 都可以轻松地通过我们的方法进行编辑。通过与其他现有方法比较我们的方法的变形能力，我们证明了我们的方法的易于使用和可比较的质量，尽管更加直接，因此更容易与 3DGS 上的其他并行开发集成。

May, 2024

高斯飘点下可变形内窥镜组织重构

应用高斯喷洒方法进行可变形内窥镜组织重构，采用变形场处理动态场景、深度引导监督优化三维目标并使用时空权重掩模减轻工具遮挡，从单视角视频、估计的深度图和标记的工具掩模中重建和呈现高质量的可变形内窥镜组织。

Jan, 2024

实时动态场景渲染的 4D 高斯喷墨

4D 高斯喷洒 (4D-GS) 方法以高效率表示和呈现动态场景，通过构建有效的变形场来模拟高斯运动和形状变形，实现了高分辨率下的实时渲染，并且在保持与先前最新技术方法相当或更高质量的同时达到了 70 FPS。

Oct, 2023

Event3DGS: 快速自运动的事件驱动 3D 高斯点插值

通过利用事件相机的高时间分辨率和显式的基于点的表示，Event3DGS 可以在快速自我运动下仅根据事件流重建高保真度的 3D 结构，并通过稀疏感知的采样和渐进训练方法获得更好的重建质量和一致性，同时通过将运动模糊形成过程显式地结合到可微分的光栅化器中，通过有限的一组模糊的 RGB 图像来改善外观。大量实验证明，与现有方法相比，Event3DGS 具有卓越的渲染质量，并且训练时间减少了 95％以上，并且在渲染速度上具有数量级的提升。

Jun, 2024

4D 高斯点绘制：用于动态场景高效新视图合成

4D 高斯喷洒是一种在动态场景下表示动态场景的新方法，通过时间切片和投影技术实现了对复杂运动和细节的建模，并在实时渲染方面取得了显著的效果和效率优势。

Feb, 2024

鲁棒的高斯点云糊化

本文主要研究了 3D 高斯喷洒（3DGS）中的常见误差源，包括模糊、不完美的相机姿态以及颜色不一致性，旨在改善其在像手持手机拍摄的实际应用中的鲁棒性。通过将运动模糊建模为相机姿态上的高斯分布，我们可以统一处理相机姿态的精炼和运动模糊矫正，并提出了解决散焦模糊补偿和解决由环境光、阴影或相机相关因素引起的颜色不一致性的机制。我们的解决方案与 3DGS 的配方无缝集成，同时保持其在训练效率和渲染速度方面的优势。通过在 Scannet++ 和 Deblur-NeRF 等相关基准数据集上进行实验证实，我们的贡献取得了最先进的结果，相对于相关基准线实现了一致的性能改进。

Apr, 2024