May, 2024

利用机器人手术视频的高效数据驱动场景模拟：基于物理嵌入的 3D 高斯方法

PDF
TL;DR我们的研究介绍了一种可学习的三维高斯表示方法，通过从立体内窥镜视频中学习，可以重建和模拟手术场景，以提高手术教育和机器人学习的效率和多样性。
surgical scene simulationdata-driven simulation3d gaussiandepth supervisionmaterial point method
发现论文，激发创造
  • Deform3DGS: 高斯点云绘制技术的灵活变形用于快速手术场景重建

    通过将 3D GS 集成到手术场景中并引入新的灵活变形建模方案（FDM），本文提出了一种名为 Deform3DGS 的快速重建框架，该框架能够在内窥镜手术中对可变形组织进行实时重建，加速手术现场重建并在临床中具有重要的临床应用价值。

    May, 2024

  • 动态 3D 高斯：通过持久动态视图合成进行跟踪

    同时解决动态场景新视角合成和六自由度跟踪所有密集场景元素的方法，通过分析合成框架，模型化动态场景，并用于各种后续应用。

    Aug, 2023

  • Free-SurGS：无 SFPM 的手术场景重建中的三维高斯散点法

    通过联合优化相机姿态和场景表示，提出了首个基于 3DGS 的无 SfM 手术场景重建方法，利用光流先验引导从 3D 高斯获得的投影流，并引入一致性检查来过滤异常值，实验结果表明性能优越且高效。

    Jul, 2024

  • EndoGaussian：用于可变形外科手术场景重建的高斯光栅

    通过使用 3D 高斯泼洒方法，我们引入了实时外科手术场景重建框架 EndoGaussian，能够在现实时间内实现手术场景的重建，实现了很大的渲染加速，同时在保持最新的重建质量和最快的训练速度方面表现出显著的优势。

    Jan, 2024

  • 外科视频的动态场景图表示

    通过使用场景图和图卷积网络对手术视频进行建模和分析，研究证明其在自动化手术工作流识别方面具有竞争性能，并对模型决策的解释性和稳健性提供了关键的临床支持。

    Sep, 2023

  • 高斯飘点下可变形内窥镜组织重构

    应用高斯喷洒方法进行可变形内窥镜组织重构，采用变形场处理动态场景、深度引导监督优化三维目标并使用时空权重掩模减轻工具遮挡，从单视角视频、估计的深度图和标记的工具掩模中重建和呈现高质量的可变形内窥镜组织。

    Jan, 2024

  • LGS：一种高效的手术场景重建轻量级 4D 高斯喷洒

    通过引入轻量级 4D 高斯光斑框架（LGS），该研究解决了在资源有限的手术设备中妨碍实时渲染的存储问题，并在动态内窥镜重建中展现出较高的压缩率、良好的视觉质量和实时渲染效率。

    Jun, 2024

  • 动态高斯网格：从单目视频实现一致的网格重建

    使用单个单目视频，通过引入动态高斯网格（DG-Mesh）框架，可以重建出高保真度和时态一致的网格结构，并实现动态对象的纹理编辑。

    Apr, 2024

  • 基于弹簧质点三维高斯模型的弹性物体重建和模拟

    弹性对象的重建和模拟在计算机视觉和机器人领域中至关重要。我们提出了 Spring-Gaus，这是一个集成了 3D 高斯模型和基于物理模拟的框架，用于从多视角视频中重建和模拟弹性对象。我们的方法利用了一个 3D 弹簧 - 质点模型，能够对物理参数进行个别点层面的优化，同时将物理学和外观的学习分离。该方法具有良好的采样效率，增强了泛化能力，并降低了对模拟粒子分布的敏感性。我们在合成和真实数据集上评估了 Spring-Gaus，展示了对弹性对象的准确重建和模拟，包括在不同的初始状态和环境参数下的未来预测和模拟。

    Mar, 2024

  • Endo-4DGS：基于 4D 高斯喷洒的内窥镜单目场景重建中的深度排序提取

    在机器人辅助微创手术领域，动态场景重建可以显著提高下游任务和改善手术结果。我们提出了一种创新的实时内窥镜动态重建方法 Endo-4DGS，使用了 4D 高斯飞溅和无需地面真实深度数据。该方法通过引入时间组件，借助轻量级 MLP 捕捉时间高斯变形，有效实现了具有可变条件的动态手术场景的重建。我们还整合了 Depth-Anything，从单目视图中生成伪深度图，增强了深度引导重建过程。我们的方法在两个手术数据集上通过验证，证明了实时渲染、高效计算和重建准确性，彰显了 Endo-4DGS 改善手术辅助的巨大潜力。

    Jan, 2024