EndoGaussians:可变形内窥镜组织重建的单视图动态高斯点渲染
应用高斯喷洒方法进行可变形内窥镜组织重构,采用变形场处理动态场景、深度引导监督优化三维目标并使用时空权重掩模减轻工具遮挡,从单视角视频、估计的深度图和标记的工具掩模中重建和呈现高质量的可变形内窥镜组织。
Jan, 2024
通过使用 3D 高斯泼洒方法,我们引入了实时外科手术场景重建框架 EndoGaussian,能够在现实时间内实现手术场景的重建,实现了很大的渲染加速,同时在保持最新的重建质量和最快的训练速度方面表现出显著的优势。
Jan, 2024
通过将 3D GS 集成到手术场景中并引入新的灵活变形建模方案(FDM),本文提出了一种名为 Deform3DGS 的快速重建框架,该框架能够在内窥镜手术中对可变形组织进行实时重建,加速手术现场重建并在临床中具有重要的临床应用价值。
May, 2024
提出了一种名为 EndoSparse 的框架,通过利用多个基础模型的先验知识,解决了在临床环境中只有稀疏观测数据的情况下精确恢复 3D 表示的稀疏性挑战,显着提高了在挑战性稀疏视图条件下的几何和外观质量,是神经 3D 重建在实际临床环境中实用部署的稳定进展。
Jul, 2024
在机器人辅助微创手术领域,动态场景重建可以显著提高下游任务和改善手术结果。我们提出了一种创新的实时内窥镜动态重建方法 Endo-4DGS,使用了 4D 高斯飞溅和无需地面真实深度数据。该方法通过引入时间组件,借助轻量级 MLP 捕捉时间高斯变形,有效实现了具有可变条件的动态手术场景的重建。我们还整合了 Depth-Anything,从单目视图中生成伪深度图,增强了深度引导重建过程。我们的方法在两个手术数据集上通过验证,证明了实时渲染、高效计算和重建准确性,彰显了 Endo-4DGS 改善手术辅助的巨大潜力。
Jan, 2024
EndoGSLAM 是一种用于内窥镜手术的高效 SLAM 方法,通过整合高速渲染和组织重建,实现在线相机跟踪和组织重建的 100 帧 / 秒渲染速度,具备优于传统或神经 SLAM 方法的手术过程中可用性和重建质量的平衡。
Mar, 2024
提出了一种名为 HFGS 的新方法,通过空间和时间频率角度处理动态场景的可变形内窥镜重建问题,并引入了空间高频重建和时间高频重建技术来提高神经渲染的动态感知和 3D 质量。
May, 2024
通过引入轻量级 4D 高斯光斑框架(LGS),该研究解决了在资源有限的手术设备中妨碍实时渲染的存储问题,并在动态内窥镜重建中展现出较高的压缩率、良好的视觉质量和实时渲染效率。
Jun, 2024
本文提出了一种 3D 几何感知可变形高斯喷洒方法,用于动态视图合成。我们的解决方案通过显式提取和融合 3D 几何特征来实现 3D 几何感知的变形建模,从而实现改进的动态视图合成和 3D 动态重建。
Apr, 2024