手术 - DINO:内窥镜手术深度估计的基础模型适配器学习
我们介绍了一种名为低秩适应(LoRA)技术的简化方法,用于将基础模型进行自定义,通过将低秩适应学习应用于胶囊内窥镜诊断,取得了令人印象深刻的结果。
Jun, 2024
我们提出了一种高效的自监督深度估计框架 EndoDAC,它通过采用动态向量化低秩适应方法(DV-LoRA)和卷积颈块,利用极少的可训练参数将基础模型适应于外科手术领域,从而在更少的训练时期和未了解相机内参数的情况下获得卓越的性能。
May, 2024
本研究全面评估了基于自学习的 DINOv2 模型在放射学领域的应用,通过超过 100 个实验在不同模态下进行疾病分类和器官分割等任务,发现 DINOv2 在分割任务中表现优越,在疾病分类中具有竞争力的结果。这些发现为优化医学影像的预训练策略和加强 DINOv2 在自然图像与放射图像分析之间的桥梁作用提供了深入的见解。
Dec, 2023
DINO-SD 是一种新颖的周围环视深度估计模型,可以用于自动驾驶中的深度图获取,具有强鲁棒性,在 2024 年 ICRA RoboDepth 挑战赛的第四项赛道上取得了最佳表现。
May, 2024
使用基于深度学习的自监督学习方法,提出一种无需真实深度信息,使用深度估计器和可微的空间变换器的,适用于手术场景深度估计的深度学习框架。
May, 2017
我们在内窥镜成像中解决了准确性和鲁棒性方面的关键挑战,特别强调了实时推断和反射的影响。我们提出了一种创新的轻量级解决方案,通过整合卷积神经网络(CNN)和 Transformer 来预测多尺度深度图。我们的方法包括优化网络架构,引入多尺度膨胀卷积和多通道注意机制。我们还引入了一种统计置信度边界掩模,以最小化反射区域的影响。此外,我们提出了一种新颖的复杂度评估指标,考虑了网络参数大小、浮点操作和推断帧率。我们的研究旨在显著提高腹腔镜手术的效率和安全性。我们对我们提出的方法进行了全面评估,并与现有解决方案进行了比较。结果表明,我们的方法在保持轻量级的同时确保了深度估计的准确性。
Aug, 2023
本文提出了一种基于表面感知性约束的深度估计方法,将相机参数纳入训练管道以增加深度估计的控制和透明度,并整合了去除高光模块以恢复更多 buried image 信息,且实验和用户研究证明了该方法的有效性。
Mar, 2022
本文提出了一种在内窥镜术中进行单目深度估计的方法,该方法利用几何一致性损失和梯度损失来提高重建效果,并使用合成的 RGB-Depth 数据集来捕捉解剖结构上的反射和照明变化,实验结果表明该方法在实现视频 - CT 配准算法的精度要求时,具有优于现有方法的表现。
Apr, 2023
该研究提出一种基于双目内窥镜深度估计和光流的深度声明网络,通过减小两个几何损失优化相机姿态估计,并且引入了两个自适应的像素权重映射来平衡贡献,实现在挑战性的内窥镜手术场景中更加鲁棒的相机姿态估计,具有推进微创外科领域相关任务(如 SLAM 或 3D 重建)的研究意义。
Apr, 2023
通过分析内窥镜图像的特性,改进了图像和神经网络之间的兼容性,并在深度学习模型中引入了部分图像信息恢复全局信息的方法,以及提出了轻量级神经网络来增强内窥镜图像的能力,从而提高了内窥镜导航的准确性和稳定性。
Sep, 2023