EndoGSLAM: 内窥镜手术中的实时稠密重建与跟踪,利用高斯喷涂
应用高斯喷洒方法进行可变形内窥镜组织重构,采用变形场处理动态场景、深度引导监督优化三维目标并使用时空权重掩模减轻工具遮挡,从单视角视频、估计的深度图和标记的工具掩模中重建和呈现高质量的可变形内窥镜组织。
Jan, 2024
通过使用 3D 高斯泼洒方法,我们引入了实时外科手术场景重建框架 EndoGaussian,能够在现实时间内实现手术场景的重建,实现了很大的渲染加速,同时在保持最新的重建质量和最快的训练速度方面表现出显著的优势。
Jan, 2024
通过结合基于学习的外观和可优化几何先验以及因子图优化的方法,开发了一种同时定位和建图 (SLAM) 系统,并在内窥镜图像重建领域取得了鲁棒表现。
Feb, 2022
本研究介绍了一种新方法 EndoGaussians,利用高斯散射进行动态内窥镜 3D 重建,克服了现有技术的局限性,为医学专业人员提供更可靠高效的 3D 重建用于医学应用。
Jan, 2024
本文介绍了一种名为 GS-SLAM 的算法,它在同时定位与地图构建(SLAM)系统中首次使用了 3D 高斯表示方法,实现了效率和准确性之间的更好平衡。与使用神经隐式表示的最新 SLAM 方法相比,我们的方法采用了实时可微分雀斑光照渲染流水线,大大加速了地图优化和 RGB-D 重渲染。具体而言,我们提出了一种自适应扩张策略,通过添加新的或删除噪音 3D 高斯来有效重构新观测到的场景几何并改善先前观测区域的建图。这种策略对于将 3D 高斯表示扩展到重建整个场景而不是在现有方法中合成静态物体至关重要。此外,在位姿跟踪过程中,设计了一种有效的从粗到细的技术,以选择可靠的 3D 高斯表示来优化相机姿态,从而减少运行时间并实现强健的估计。我们的方法在 Replica 和 TUM-RGBD 数据集上与现有的最新实时方法具有竞争力的性能。源代码将在获批后发布。
Nov, 2023
提出了一种名为 EndoSparse 的框架,通过利用多个基础模型的先验知识,解决了在临床环境中只有稀疏观测数据的情况下精确恢复 3D 表示的稀疏性挑战,显着提高了在挑战性稀疏视图条件下的几何和外观质量,是神经 3D 重建在实际临床环境中实用部署的稳定进展。
Jul, 2024
在机器人辅助微创手术领域,动态场景重建可以显著提高下游任务和改善手术结果。我们提出了一种创新的实时内窥镜动态重建方法 Endo-4DGS,使用了 4D 高斯飞溅和无需地面真实深度数据。该方法通过引入时间组件,借助轻量级 MLP 捕捉时间高斯变形,有效实现了具有可变条件的动态手术场景的重建。我们还整合了 Depth-Anything,从单目视图中生成伪深度图,增强了深度引导重建过程。我们的方法在两个手术数据集上通过验证,证明了实时渲染、高效计算和重建准确性,彰显了 Endo-4DGS 改善手术辅助的巨大潜力。
Jan, 2024
使用单个移动单目或 RGB-D 相机,我们首次应用 3D 高斯扩散技术于增量 3D 重建。我们的同时定位与建图(SLAM)方法以高质量渲染作为所需的准确、高效跟踪和建图的唯一 3D 表示,通过几个创新实现连续重建高保真度的 3D 场景,包括通过直接优化对 3D 高斯器应用相机跟踪,利用高斯器的明确性质引入几何验证和规则化以处理增量 3D 密集重建中出现的模糊性,以及引入一个全面的 SLAM 系统,实现在新视角合成和轨迹估计中的最新结果,甚至对微小和甚至透明的物体进行重建。
Dec, 2023
我们提出了一种新的稠密同时定位与建图(SLAM)方法,该方法使用高斯斑点作为场景表示。该新的表示方法能够实时重建和真实渲染真实世界和合成场景,并通过提出新的策略来扩展高斯斑点的应用,使其从多视角离线场景扩展到顺序单色 RGBD 输入数据的设置。此外,我们还将高斯斑点扩展到编码几何并通过跟踪在此场景表示上进行实验。我们的方法在真实世界和合成数据集上实现了最先进的渲染质量,同时在重建性能和运行时间方面具有竞争力。
Dec, 2023
CudaSIFT-SLAM 是首个能够实时处理完整人类结肠镜检测的 V-SLAM 系统,通过使用 SIFT 特征替代 ORB 特征以及更计算密集的暴力匹配算法,成功地解决了 ORB-SLAM3 的限制,并能够在时间上匹配图像以便重定位和地图融合。
May, 2024