基于渐进频率感知网络的腹腔镜图像去烟化
本研究提出了一种新的方法,使用卷积神经网络从胆囊切除术视频中自动学习特征,以完成手术阶段识别和工具存在检测等多任务学习,该方法取得了最好的效果。
Feb, 2016
通过图像翻译方法,我们生成了外科镜检查图像的大量合成数据集,并展示了这样的数据集可用于训练和提高肝脏分割模型性能的可能性。
Jul, 2019
我们在内窥镜成像中解决了准确性和鲁棒性方面的关键挑战,特别强调了实时推断和反射的影响。我们提出了一种创新的轻量级解决方案,通过整合卷积神经网络(CNN)和Transformer来预测多尺度深度图。我们的方法包括优化网络架构,引入多尺度膨胀卷积和多通道注意机制。我们还引入了一种统计置信度边界掩模,以最小化反射区域的影响。此外,我们提出了一种新颖的复杂度评估指标,考虑了网络参数大小、浮点操作和推断帧率。我们的研究旨在显著提高腹腔镜手术的效率和安全性。我们对我们提出的方法进行了全面评估,并与现有解决方案进行了比较。结果表明,我们的方法在保持轻量级的同时确保了深度估计的准确性。
Aug, 2023
在这项研究中,我们设计并评估了一个CNN-RNN架构以及一个定制的训练-推理框架,以应对腹腔镜手术行动识别中的挑战,包括动作持续时间变异、烟雾、血液积聚、快速相机运动、器官移动、物体阻挡等相关内容扭曲,以及不同照明和视角引起的手术场景变化。通过使用堆叠的循环层,我们的网络利用帧间依赖性来消除内容扭曲和动作识别中的变异的负面影响。此外,我们提出的帧采样策略有效地管理手术动作的持续时间变化,实现了高时间分辨率的动作识别。我们广泛的实验证实了我们的方法在动作识别方面相比静态CNN更为优越。
Nov, 2023
我们介绍了一种用于腹腔镜妇科手术视频中相关事件识别的全面数据集,并通过使用几种CNN-RNN架构评估事件识别性能。此外,我们介绍并评估了一个混合变压器架构,结合自定义的训练-推理框架,用于识别腹腔镜手术视频中的四个特定事件。借助Transformer网络,我们的提出的架构利用帧间依赖性来对抗相关内容遮挡,运动模糊和手术场景变化的不良影响,从而显著提高事件识别准确性。此外,我们提出了一种用于处理手术场景和外科医生技能水平变化的帧采样策略,以实现高时间分辨率的事件识别。通过一系列广泛的实验证明了我们所提出的方法在事件识别方面相比传统的CNN-RNN架构的卓越性能。
Dec, 2023
通过引入自监督手术视频去烟除雾(SelfSVD)方法,我们解决了合成烟、处理密集烟雾以及提高烟雾去除效果的问题,并构建了一个真实手术视频数据集,实验证明SelfSVD比现有方法更有效地去除烟雾并恢复更真实的细节。
Mar, 2024
本文提出了一种新颖的方法,用于从腹腔镜图像中去除烟雾。该方法采用了二阶段网络来估计烟雾分布并重建清晰的无烟手术场景,光度通道的利用对提供烟雾密度的重要信息起着关键作用。实验结果表明,该方法在峰值信噪比方面比现有最先进的方法高出2.79%,运行时间也减少了38.2%。总体上,与现有最先进的方法相比,该方法在烟雾去除质量和计算效率方面具有可比甚至更优秀的性能。
Apr, 2024
为了解决过拟合问题、提高胃肠病变息肉尺寸评估模型的泛化能力,本研究引入了特征选择门(FSG)或硬注意力门(HAG),并结合梯度路由(GR)进行动态特征选择。该技术旨在通过促进稀疏连接来增强卷积神经网络(CNNs)和视觉变换器(ViTs),从而减少过拟合并增强泛化能力。经过多个数据集的评估,包括CIFAR-100数据集与针对病变息肉尺寸评估的真实结肠镜、Misawa和SUN数据集,共涵盖了超过370,000帧的200个病变息肉。研究结果表明,我们增强的网络在与胃肠病变息肉尺寸相关的二元和三元分类任务中极大地提升了性能。具体而言,CNN的二元分类F1得分提高至87.8%,而ViT-T模型的三元分类F1得分达到76.5%,超过了传统CNN和ViT-T模型。为了促进进一步的研究,我们发布了包括CNNs、多流CNNs、ViT和HAG增强变体在内的代码库。该资源旨在标准化胃肠病变息肉尺寸评估领域的研究,为可靠和可比较的研究提供了公开的训练、验证和测试数据集拆分。代码库可在github.com/cosmoimd/feature-selection-gates获取。
Jul, 2024
通过构建名为LSD3K的新型高质量数据集,该数据集包括3,000个配对的合成非均匀烟雾图像,本文提供了用于腹腔镜手术图像去雾的数据集生成流程,并在该基准上对现有的代表性去烟雾算法进行了全面评估。
Jul, 2024