通过设计兼容的内窥镜图像释放深度和姿态估计神经网络的能力
该研究提出一种基于双目内窥镜深度估计和光流的深度声明网络,通过减小两个几何损失优化相机姿态估计,并且引入了两个自适应的像素权重映射来平衡贡献,实现在挑战性的内窥镜手术场景中更加鲁棒的相机姿态估计,具有推进微创外科领域相关任务(如 SLAM 或 3D 重建)的研究意义。
Apr, 2023
我们在内窥镜成像中解决了准确性和鲁棒性方面的关键挑战,特别强调了实时推断和反射的影响。我们提出了一种创新的轻量级解决方案,通过整合卷积神经网络(CNN)和 Transformer 来预测多尺度深度图。我们的方法包括优化网络架构,引入多尺度膨胀卷积和多通道注意机制。我们还引入了一种统计置信度边界掩模,以最小化反射区域的影响。此外,我们提出了一种新颖的复杂度评估指标,考虑了网络参数大小、浮点操作和推断帧率。我们的研究旨在显著提高腹腔镜手术的效率和安全性。我们对我们提出的方法进行了全面评估,并与现有解决方案进行了比较。结果表明,我们的方法在保持轻量级的同时确保了深度估计的准确性。
Aug, 2023
本论文介绍了在内窥镜图像中利用光度线索提高单目深度估计的方法,并通过使用自监督和监督训练的方法,结合教师 - 学生迁移学习,实现了对内窥镜图像的高质量深度估计。
Mar, 2024
本文提出了一种在内窥镜术中进行单目深度估计的方法,该方法利用几何一致性损失和梯度损失来提高重建效果,并使用合成的 RGB-Depth 数据集来捕捉解剖结构上的反射和照明变化,实验结果表明该方法在实现视频 - CT 配准算法的精度要求时,具有优于现有方法的表现。
Apr, 2023
通过将 NeuS 应用于内窥镜图像并辅以单帧深度图,我们在结肠切片重建方面引入了一种新的方法,该方法解决了单目结肠镜图像重建中的组织纹理表示不足和尺度混淆问题,通过严格的实验证明了其在渲染结肠切片方面的异常精确性,为稳定和一致缩放重建打开了新的途径,为癌症筛查和治疗干预提供了更好的质量。
Apr, 2024
基于解剖识别的深度学习方法,通过无监督学习从手术视频中构建手术路径,从而解决内窥镜手术中由于缺乏可区分的纹理和地标以及内窥镜设备的局限性(如有限的视野和光照条件)所带来的定位问题。
May, 2024
提出了一种基于单目内窥镜数据的自监督卷积神经网络训练方法,无需解剖学或阴影的先验建模,仅需要单目内窥镜视频和多视角立体方法,如运动结构,以稀疏方式监督学习。
Feb, 2019
内窥镜在识别胃肠道的潜在异常方面起着重要作用。最近,深度学习,特别是卷积神经网络(CNNs),在胃肠道内窥镜图像分析方面报道了显著的优势。然而,现有的模型大多关注性能的提高,缺乏开发在资源有限环境中运行的轻量级模型的重点。我们通过三种基于知识蒸馏学习框架进行研究,并引入了一种新颖的基于多头注意力的特征融合机制来支持基于关系的学习。在两个广泛使用的公共数据集 KVASIR-V2 和 Hyper-KVASIR 上进行了广泛的评估,实验结果表明了我们提出的基于关系的框架在实现资源有限环境中运行的改进轻量级模型(仅有 51.8k 可训练参数)方面的优点。
Aug, 2023
IMEXnet 是一种采用半隐式方法来解决卷积神经网络中凸显的鲁棒性问题和局限的 “视野” 问题的新型神经网络,并通过语义分割数据的实验证明了其有效性。
Mar, 2019