Apr, 2023

学习如何在内窥镜视频中稳健地估计相机姿态

PDF
TL;DR该研究提出一种基于双目内窥镜深度估计和光流的深度声明网络，通过减小两个几何损失优化相机姿态估计，并且引入了两个自适应的像素权重映射来平衡贡献，实现在挑战性的内窥镜手术场景中更加鲁棒的相机姿态估计，具有推进微创外科领域相关任务（如 SLAM 或 3D 重建）的研究意义。
endoscopic surgeriescamera pose estimationdeep declarative networkgeometric-based optimizationsimultaneous localization and mapping
发现论文，激发创造
  • 基于视觉的神经外科导航：无监督定位和相机姿态预测

    基于解剖识别的深度学习方法，通过无监督学习从手术视频中构建手术路径，从而解决内窥镜手术中由于缺乏可区分的纹理和地标以及内窥镜设备的局限性（如有限的视野和光照条件）所带来的定位问题。

    May, 2024

  • 使用三维表面感知约束的三维内窥镜深度估计

    本文提出了一种基于表面感知性约束的深度估计方法，将相机参数纳入训练管道以增加深度估计的控制和透明度，并整合了去除高光模块以恢复更多 buried image 信息，且实验和用户研究证明了该方法的有效性。

    Mar, 2022

  • 利用近场照明从内窥镜视频进行单目深度估计

    本论文介绍了在内窥镜图像中利用光度线索提高单目深度估计的方法，并通过使用自监督和监督训练的方法，结合教师 - 学生迁移学习，实现了对内窥镜图像的高质量深度估计。

    Mar, 2024

  • 单目内窥镜深度估计的几何感知深度神经网络

    本文提出了一种在内窥镜术中进行单目深度估计的方法，该方法利用几何一致性损失和梯度损失来提高重建效果，并使用合成的 RGB-Depth 数据集来捕捉解剖结构上的反射和照明变化，实验结果表明该方法在实现视频 - CT 配准算法的精度要求时，具有优于现有方法的表现。

    Apr, 2023

  • 单目内窥镜中用于密集深度估计的自监督学习

    本文提出一种无监督的自我监督方法，用于训练卷积神经网络从单目内窥镜数据中密集地估计深度，而无需先验建模解剖或着色。

    Jun, 2018

  • 使用自我监督学习方法进行单目内窥镜密集深度估计

    提出了一种基于单目内窥镜数据的自监督卷积神经网络训练方法，无需解剖学或阴影的先验建模，仅需要单目内窥镜视频和多视角立体方法，如运动结构，以稀疏方式监督学习。

    Feb, 2019

  • 通过设计兼容的内窥镜图像释放深度和姿态估计神经网络的能力

    通过分析内窥镜图像的特性，改进了图像和神经网络之间的兼容性，并在深度学习模型中引入了部分图像信息恢复全局信息的方法，以及提出了轻量级神经网络来增强内窥镜图像的能力，从而提高了内窥镜导航的准确性和稳定性。

    Sep, 2023

  • 鲁棒性一致的视频深度估计

    本文提出了一种用于估计一致密集深度图和相机姿态的算法，该算法基于学习的深度先验和几何优化相结合，不需要输入相机姿态，并能够在包括噪声、抖动、运动模糊和卷帘快门失真等多种挑战性条件下实现稳健的重建。

    Dec, 2020

  • 自监督的孪生学习用于机器人手术中基于双目图像的深度估计

    使用基于深度学习的自监督学习方法，提出一种无需真实深度信息，使用深度估计器和可微的空间变换器的，适用于手术场景深度估计的深度学习框架。

    May, 2017

  • 单目内窥镜视频中鼻窦解剖结构的稠密三维重建的定量评估

    通过定量分析，我们使用自监督方法对内窥镜定位进行了定量分析，采用与高分辨率计算机断层扫描相结合的内窥镜序列和光学跟踪获取的 9 个离体标本的结果显示，所生成的重建与解剖结构高度一致，重建与 CT 分割间的平均点对网格误差为 0.91 毫米，然而，在点对点匹配场景中，即对内窥镜跟踪和导航至关重要的情况下，我们发现平均目标注册误差为 6.58 毫米。我们发现姿态与深度估计的不准确性对此误差贡献相等，并且具有更短轨迹的局部一致性序列生成更准确的重建。因此，为了改进重建并促进临床应用，实现相对相机姿态和估计深度与解剖学的全局一致性至关重要。

    Oct, 2023