Aug, 2023

轻量级内窥镜深度估计与 CNN-Transformer 编码器

PDF
TL;DR我们在内窥镜成像中解决了准确性和鲁棒性方面的关键挑战，特别强调了实时推断和反射的影响。我们提出了一种创新的轻量级解决方案，通过整合卷积神经网络（CNN）和 Transformer 来预测多尺度深度图。我们的方法包括优化网络架构，引入多尺度膨胀卷积和多通道注意机制。我们还引入了一种统计置信度边界掩模，以最小化反射区域的影响。此外，我们提出了一种新颖的复杂度评估指标，考虑了网络参数大小、浮点操作和推断帧率。我们的研究旨在显著提高腹腔镜手术的效率和安全性。我们对我们提出的方法进行了全面评估，并与现有解决方案进行了比较。结果表明，我们的方法在保持轻量级的同时确保了深度估计的准确性。
depth estimationendoscopic imagingconvolutional neural networkstransformerslaparoscopic surgery
发现论文，激发创造
  • 通过设计兼容的内窥镜图像释放深度和姿态估计神经网络的能力

    通过分析内窥镜图像的特性，改进了图像和神经网络之间的兼容性，并在深度学习模型中引入了部分图像信息恢复全局信息的方法，以及提出了轻量级神经网络来增强内窥镜图像的能力，从而提高了内窥镜导航的准确性和稳定性。

    Sep, 2023

  • 利用近场照明从内窥镜视频进行单目深度估计

    本论文介绍了在内窥镜图像中利用光度线索提高单目深度估计的方法，并通过使用自监督和监督训练的方法，结合教师 - 学生迁移学习，实现了对内窥镜图像的高质量深度估计。

    Mar, 2024

  • 重新审视单张图像深度估计：朝着更高分辨率的图像和精准的物体边界

    本文提出了两种优化现有方法的方法：一种是通过网络结构融合不同尺度提取的特征，另一种是通过多种损失函数来测量训练中的推理错误。实验结果表明，这两种改进使得深度估计的精度显著提高，使得对小物体和物体边界的更细分辨率重建成为可能。

    Mar, 2018

  • 基于 Transformer 编码器和特征融合的深度估计算法

    该研究提出了一种基于 Transformer 编码器架构的创新深度估计算法，针对 NYU 和 KITTI 深度数据集。该研究采用 Transformer 模型来捕捉图像数据中的复杂空间关系以用于深度估计任务，并集成了结构相似性指数 (SSIM) 和均方误差 (MSE) 的复合损失函数，以确保预测的深度图像在结构上保持一致并最小化像素级估计误差。经过严格训练和评估，模型在 NYU 深度数据集上展现出卓越性能，为单幅图像深度估计，尤其是在复杂室内和交通环境中，带来了显著的进展。

    Mar, 2024

  • 自监督单目深度估计中的 Transformer 模型（不考虑相机内参）

    研究在自动驾驶和高级驾驶辅助系统下，使用视觉转换器作为新的方法来进行单目深度估计，在 KITTI 深度预测基准上取得了与卷积神经网络相似的性能，同时具有更强的鲁棒性和可扩展性。

    Feb, 2022

  • 基于迁移学习的高质量单目深度估计

    本文提出了一种基于卷积神经网络的深度估计方法，结合迁移学习使用高性能网络初始化编码器以及增强和训练策略以获得更准确的结果，结果表明，即使是非常简单的解码器，我们的方法也能够产生细节详尽的高分辨率深度图像。

    Dec, 2018

  • 深度邻居层聚合轻量级自监督单目深度估计

    我们提出了一种全卷积深度估计网络，利用上下文特征融合，采用高分辨率和低分辨率特征来保留小目标和高速移动物体的信息，进一步在解码器阶段采用基于卷积的轻量级通道注意力来优化深度估计结果，降低参数数量同时保持准确性。

    Sep, 2023

  • 单目深度估计神经网络结构的普适性研究

    通过广泛实验，我们观察到 Transformer 模型表现出强的形状偏见，而 CNN 模型则表现出强的纹理偏见，并且发现纹理偏见的模型比形状偏见的模型在单目深度估计中表现更差，同时进行了各种背骨网络的密集消融研究，实验证明 CNN 和 Transformer 的内在局部性会引入纹理偏见和形状偏见。

    Jan, 2023

  • 单目内窥镜中用于密集深度估计的自监督学习

    本文提出一种无监督的自我监督方法，用于训练卷积神经网络从单目内窥镜数据中密集地估计深度，而无需先验建模解剖或着色。

    Jun, 2018

  • 自监督单目深度估计泛化性的深入挖掘

    本文研究使用自监督单目深度估计算法的主干网络（如 CNNs，Transformers 和 CNN-Transformer 混合模型）在广泛的公共数据集上的泛化性能，观察到 Transformers 具有很强的形状偏差，而 CNNs 则具有很强的纹理偏差，同时提出了一种新的 CNN-Transformer 混合网络，名为 MonoFormer，该模型具有最佳的广义性能和分类性能。

    May, 2022