Sep, 2024

基于高斯溅射的动态外科视频无相机姿态场景重建方法Free-DyGS

HTML
PDF
TL;DR本研究解决了现有3D重建方法在动态外科视频中面临的准确性要求、相机定位不精确和快速重建等挑战。提出的Free-DyGS框架首次实现了无相机姿态的场景重建，通过3D高斯溅射技术和创新的灵活变形模块，显著提高了重建准确率和计算效率，实验结果表明其优于传统基线模型。
发现论文，激发创造
  • 高斯飘点下可变形内窥镜组织重构

    应用高斯喷洒方法进行可变形内窥镜组织重构，采用变形场处理动态场景、深度引导监督优化三维目标并使用时空权重掩模减轻工具遮挡，从单视角视频、估计的深度图和标记的工具掩模中重建和呈现高质量的可变形内窥镜组织。

    Jan, 2024

  • EndoGaussian：用于可变形外科手术场景重建的高斯光栅

    通过使用3D高斯泼洒方法，我们引入了实时外科手术场景重建框架EndoGaussian，能够在现实时间内实现手术场景的重建，实现了很大的渲染加速，同时在保持最新的重建质量和最快的训练速度方面表现出显著的优势。

    Jan, 2024

  • Endo-4DGS：基于4D高斯喷洒的内窥镜单目场景重建中的深度排序提取

    在机器人辅助微创手术领域，动态场景重建可以显著提高下游任务和改善手术结果。我们提出了一种创新的实时内窥镜动态重建方法Endo-4DGS，使用了4D高斯飞溅和无需地面真实深度数据。该方法通过引入时间组件，借助轻量级MLP捕捉时间高斯变形，有效实现了具有可变条件的动态手术场景的重建。我们还整合了Depth-Anything，从单目视图中生成伪深度图，增强了深度引导重建过程。我们的方法在两个手术数据集上通过验证，证明了实时渲染、高效计算和重建准确性，彰显了Endo-4DGS改善手术辅助的巨大潜力。

    Jan, 2024

  • Deform3DGS: 高斯点云绘制技术的灵活变形用于快速手术场景重建

    通过将3D GS集成到手术场景中并引入新的灵活变形建模方案（FDM），本文提出了一种名为Deform3DGS的快速重建框架，该框架能够在内窥镜手术中对可变形组织进行实时重建，加速手术现场重建并在临床中具有重要的临床应用价值。

    May, 2024

  • HFGS: 四维高斯完全投影，着重于内窥镜场景重建中的空间和时间高频分量

    提出了一种名为HFGS的新方法，通过空间和时间频率角度处理动态场景的可变形内窥镜重建问题，并引入了空间高频重建和时间高频重建技术来提高神经渲染的动态感知和3D质量。

    May, 2024

  • LGS：一种高效的手术场景重建轻量级4D高斯喷洒

    通过引入轻量级4D高斯光斑框架（LGS），该研究解决了在资源有限的手术设备中妨碍实时渲染的存储问题，并在动态内窥镜重建中展现出较高的压缩率、良好的视觉质量和实时渲染效率。

    Jun, 2024

  • Free-SurGS：无SFPM的手术场景重建中的三维高斯散点法

    通过联合优化相机姿态和场景表示，提出了首个基于3DGS的无SfM手术场景重建方法，利用光流先验引导从3D高斯获得的投影流，并引入一致性检查来过滤异常值，实验结果表明性能优越且高效。

    Jul, 2024

  • SurgicalGaussian：用于高保真手术场景重建的可变形三维高斯模型

    开发了SurgicalGaussian，一种用于模拟动态手术场景的可变形3D高斯喷洒方法，通过前向映射变形MLP和正则化来描述软组织在每个时间戳上的时空特征，并用深度初始化策略和工具掩模引导训练，实现去除手术器械和重建高逼真度手术场景。该方法在渲染质量、渲染速度和GPU使用等多个方面优于现有方法。

    Jul, 2024

  • 用于机器人手术中可变形组织的3D重建技术综述

    本文解决了机器人微创手术中重建手术场景的挑战，特别是动态场景与工具遮挡等问题。通过评估当前的3D重建技术，尤其是基于NeRF和Gaussian splatting的方法，提出了改进的实现策略。研究结果表明，这些技术的进步使得实时高质量重建成为可能，具备重大的临床应用潜力。

    Aug, 2024

  • 内窥镜视频的在线三维重建与密集跟踪

    本研究解决了立体内窥镜视频数据在外科手术中三维场景重建的关键问题。我们提出了一种在线框架，通过高斯点云扩展场景表示，并利用稀疏控制点建模组织变形，实现高效的场景参数优化。实验结果表明，我们的方法在跟踪效果上超越了现有技术并接近离线重建的性能，推动了外科辅助系统的发展。

    Sep, 2024