Aug, 2024

MultiViPerFrOG：一种全球优化的多视角感知框架，用于相机运动和组织变形

HTML
PDF
TL;DR本研究解决了在可变形环境中从移动深度相机捕获的信息中重建3D形状的难题，特别是同时估计相机运动和组织变形时面临的挑战。我们提出了一种多视角全球优化框架，能灵活结合低级感知模块的输出，通过模拟的噪声数据展示了该方法的鲁棒性，具有处理极大变形的潜力，将推动未来计算机辅助外科技术的发展。
发现论文，激发创造
  • FLEX: 无外参多视角 3D 人体动作重构

    本研究提出了一种不需要相机参数的多视角模型FLEX，通过学习骨架部位的3D旋转和长度，该模型能够重构一致的骨架，在未知相机设置情况下能够取得比现有技术更好的结果。

    May, 2021

  • 用神经网络平面表示快速重建可变形组织的四维模型

    LerPlane 是一种快速且精确的手术场景重建方法，在单视点情况下将手术过程作为 4D 体积进行因式分解成为静态和动态场的 2D 平面。

    May, 2023

  • SuPerPM: 基于深度点匹配的大变形稳健外科感知框架，从物理约束仿真数据学习

    通过非刚性点云匹配的学习，解决了手术工具操作引起的大变形时跟踪误差的问题，提出了一种手术感知框架（SuPerPM），该框架利用学习模型进行数据关联，适应更大的变形，并在多个具有大变形特征的手术数据集上展示了优越的性能，超越了现有的手术场景跟踪算法。

    Sep, 2023

  • 通过正交神经平面实现高效可变形组织重建

    介绍了一种基于神经辐射场的快速正交平面（Forplane）的新型高效重建变形组织的方法，将手术过程抽象为四维体积，通过正交神经平面对其进行分解，以减少内存使用和加快优化过程，通过引入空间时间重要采样方案和高效光线行进方法，在保持或提高质量的同时，大幅加速了优化和推理过程，为未来的手术应用提供了有价值的资源。

    Dec, 2023

  • FLex：立体内窥镜视频的姿态与动态辐射场优化

    通过多个重叠的4D神经辐射场（NeRFs）和渐进优化方案，在高度动态的变形组织环境中对移动内窥镜进行隐式场景分离和重建，从而提高了操作简易性并在时间上提供了患者视频的重建能力的改进，同时不依赖于外部跟踪信息。

    Mar, 2024

  • Deform3DGS: 高斯点云绘制技术的灵活变形用于快速手术场景重建

    通过将3D GS集成到手术场景中并引入新的灵活变形建模方案（FDM），本文提出了一种名为Deform3DGS的快速重建框架，该框架能够在内窥镜手术中对可变形组织进行实时重建，加速手术现场重建并在临床中具有重要的临床应用价值。

    May, 2024

  • LGS：一种高效的手术场景重建轻量级4D高斯喷洒

    通过引入轻量级4D高斯光斑框架（LGS），该研究解决了在资源有限的手术设备中妨碍实时渲染的存储问题，并在动态内窥镜重建中展现出较高的压缩率、良好的视觉质量和实时渲染效率。

    Jun, 2024

  • Free-SurGS：无SFPM的手术场景重建中的三维高斯散点法

    通过联合优化相机姿态和场景表示，提出了首个基于3DGS的无SfM手术场景重建方法，利用光流先验引导从3D高斯获得的投影流，并引入一致性检查来过滤异常值，实验结果表明性能优越且高效。

    Jul, 2024

  • SurgicalGaussian：用于高保真手术场景重建的可变形三维高斯模型

    开发了SurgicalGaussian，一种用于模拟动态手术场景的可变形3D高斯喷洒方法，通过前向映射变形MLP和正则化来描述软组织在每个时间戳上的时空特征，并用深度初始化策略和工具掩模引导训练，实现去除手术器械和重建高逼真度手术场景。该方法在渲染质量、渲染速度和GPU使用等多个方面优于现有方法。

    Jul, 2024

  • 基于高斯溅射的动态外科视频无相机姿态场景重建方法Free-DyGS

    本研究解决了现有3D重建方法在动态外科视频中面临的准确性要求、相机定位不精确和快速重建等挑战。提出的Free-DyGS框架首次实现了无相机姿态的场景重建，通过3D高斯溅射技术和创新的灵活变形模块，显著提高了重建准确率和计算效率，实验结果表明其优于传统基线模型。

    Sep, 2024