Oct, 2023

单目内窥镜视频中鼻窦解剖结构的稠密三维重建的定量评估

PDF
TL;DR通过定量分析，我们使用自监督方法对内窥镜定位进行了定量分析，采用与高分辨率计算机断层扫描相结合的内窥镜序列和光学跟踪获取的 9 个离体标本的结果显示，所生成的重建与解剖结构高度一致，重建与 CT 分割间的平均点对网格误差为 0.91 毫米，然而，在点对点匹配场景中，即对内窥镜跟踪和导航至关重要的情况下，我们发现平均目标注册误差为 6.58 毫米。我们发现姿态与深度估计的不准确性对此误差贡献相等，并且具有更短轨迹的局部一致性序列生成更准确的重建。因此，为了改进重建并促进临床应用，实现相对相机姿态和估计深度与解剖学的全局一致性至关重要。
发现论文，激发创造
  • 单目内窥镜中用于密集深度估计的自监督学习

    本文提出一种无监督的自我监督方法，用于训练卷积神经网络从单目内窥镜数据中密集地估计深度，而无需先验建模解剖或着色。

    Jun, 2018

  • 使用自我监督学习方法进行单目内窥镜密集深度估计

    提出了一种基于单目内窥镜数据的自监督卷积神经网络训练方法，无需解剖学或阴影的先验建模，仅需要单目内窥镜视频和多视角立体方法，如运动结构，以稀疏方式监督学习。

    Feb, 2019

  • 内窥镜凿子：术中成像雕刻 3D 解剖模型

    通过使用术中内窥镜视频更新术前三维解剖模型，本研究的结果表明在鼻窦手术中，术者可以更准确地了解当前解剖状态，为实现数字化双生范式奠定了基础。

    Feb, 2024

  • 单目内窥镜深度估计的几何感知深度神经网络

    本文提出了一种在内窥镜术中进行单目深度估计的方法，该方法利用几何一致性损失和梯度损失来提高重建效果，并使用合成的 RGB-Depth 数据集来捕捉解剖结构上的反射和照明变化，实验结果表明该方法在实现视频 - CT 配准算法的精度要求时，具有优于现有方法的表现。

    Apr, 2023

  • 学习如何在内窥镜视频中稳健地估计相机姿态

    该研究提出一种基于双目内窥镜深度估计和光流的深度声明网络，通过减小两个几何损失优化相机姿态估计，并且引入了两个自适应的像素权重映射来平衡贡献，实现在挑战性的内窥镜手术场景中更加鲁棒的相机姿态估计，具有推进微创外科领域相关任务（如 SLAM 或 3D 重建）的研究意义。

    Apr, 2023

  • 使用学习特征描述符的极度密集的点对应关系

    本论文提出了一种有效的自监督训练方案和新的损失设计用于密集描述符学习。在对比 in-house 鼻窦内窥镜数据集和公共密集光流数据集以及小规模公共 SfM 数据集的实验中，我们证明了我们提出的密集描述符具有更好的泛化性能，显著提高了 Structure from Motion (SfM) 模型的密度和完整性。

    Mar, 2020

  • SimCol3D - 结肠镜检中的三维重建挑战

    结直肠癌是世界上最常见的癌症之一。本文描述了 2022 年 EndoVis 挑战赛中的人工结直肠三维重建问题及其解决方案的研究成果，并展示了虚拟结直肠镜检查中深度预测问题的可靠解决方案，同时指出姿态估计问题仍然是一个待解决的研究方向。

    Jul, 2023

  • 通过单目摄像机实时进行航行和安全进入自然开口的头部姿态估计和三维神经表面重建

    我们使用 3D Slicer 作为基础平台，利用单目相机将人头进行 3D 模型重建，实时通过单目视觉传输头部姿态，并演示了利用 ArUco Marker 追踪工具实时指向头部姿态变化的可行性，为鼻咽拭子采集或插管等提供了一个可行的实时仿真平台。

    Jun, 2024

  • 利用深度引导的神经表面进行高保真内窥镜图像合成

    通过将 NeuS 应用于内窥镜图像并辅以单帧深度图，我们在结肠切片重建方面引入了一种新的方法，该方法解决了单目结肠镜图像重建中的组织纹理表示不足和尺度混淆问题，通过严格的实验证明了其在渲染结肠切片方面的异常精确性，为稳定和一致缩放重建打开了新的途径，为癌症筛查和治疗干预提供了更好的质量。

    Apr, 2024

  • 使用三维表面感知约束的三维内窥镜深度估计

    本文提出了一种基于表面感知性约束的深度估计方法，将相机参数纳入训练管道以增加深度估计的控制和透明度，并整合了去除高光模块以恢复更多 buried image 信息，且实验和用户研究证明了该方法的有效性。

    Mar, 2022