Jul, 2024

基于梯度路由的硬注意力门控内窥镜图像计算

HTML
PDF
TL;DR为了解决过拟合问题、提高胃肠病变息肉尺寸评估模型的泛化能力，本研究引入了特征选择门（FSG）或硬注意力门（HAG），并结合梯度路由（GR）进行动态特征选择。该技术旨在通过促进稀疏连接来增强卷积神经网络（CNNs）和视觉变换器（ViTs），从而减少过拟合并增强泛化能力。经过多个数据集的评估，包括CIFAR-100数据集与针对病变息肉尺寸评估的真实结肠镜、Misawa和SUN数据集，共涵盖了超过370,000帧的200个病变息肉。研究结果表明，我们增强的网络在与胃肠病变息肉尺寸相关的二元和三元分类任务中极大地提升了性能。具体而言，CNN的二元分类F1得分提高至87.8%，而ViT-T模型的三元分类F1得分达到76.5%，超过了传统CNN和ViT-T模型。为了促进进一步的研究，我们发布了包括CNNs、多流CNNs、ViT和HAG增强变体在内的代码库。该资源旨在标准化胃肠病变息肉尺寸评估领域的研究，为可靠和可比较的研究提供了公开的训练、验证和测试数据集拆分。代码库可在github.com/cosmoimd/feature-selection-gates获取。
发现论文，激发创造
  • 基于 Faster R-CNN 的内窥镜视频息肉检测高效方法

    该文研究了基于深度学习的快速区域卷积神经网络（Faster R-CNN）在内窥镜图像中多发性息肉检测方面的应用，实验结果表明其能够有效的用于临床实践。

    Sep, 2018

  • Kvasir-SEG：一个分割的息肉数据集

    本文提供了一个基于医学图像分析的数据集，其中包括肠镜图像和对应的分割掩模，这将有助于肝胆疾病自动分析的研究。我们给出了传统分割方法和现代卷积神经网络方法的具体实现，以帮助其他研究人员复现和比较结果。

    Nov, 2019

  • 一项基于计算机视觉挑战的深度学习息肉检测和分割方法通用性评估

    本研究使用机器学习技术对多中心和多人群结肠镜图像中出现的息肉进行检测和分割，并分析了表现最好的团队的结果，发现准确性高于即时性能，并提出了需要提高模型泛化性来应对多中心数据集中的多样性的观点。

    Feb, 2022

  • UGCANet：一种统一的全局上下文感知基于Transformer的网络，具有特征对齐功能，用于内窥镜图像分析

    本研究提出了一种多任务利用全局上下文感知模块和特征对齐块的Transformer-based深度神经网络，可用于精确识别上消化道病变和肠息肉，实验证明其性能卓越。

    Jul, 2023

  • GastroVision:计算机辅助胃肠疾病检测的多类胃镜图像数据集

    为了在临床实践中整合实时人工智能系统，需要解决数据可用性、数据质量和缺乏多样性数据集等挑战。为此，我们介绍了GastroVision，一个多中心开放获取的胃肠内镜数据集，该数据集包括来自胃肠道的24种不同病理异常、息肉切除病例和正常发现，提供了大规模、精确标记的多样化数据集，并验证了数据集的重要性。我们相信，该数据集可以促进基于人工智能的胃肠疾病检测和分类算法的开发。

    Jul, 2023

  • 胃肠内窥镜视觉问题的自监督预训练研究

    背景: 传统的胃肠内镜检查 (GIE) 的视觉任务解决方案通常使用在ImageNet-1k上以有监督方式预训练的图像编码器作为骨干网络。目前，现代的自监督预训练算法和最近的10万张未标记GIE图像数据集(Hyperkvasir-未标注)的使用可能有助于改进这种方法。目标：在这项研究中，我们研究了在一系列GIE视觉任务中，使用在ImageNet-1k和Hyperkvasir-未标注（仅自监督）上以自监督和有监督方式预训练的ResNet50和ViT-B骨干网络的微调性能。结果：除了确定每个任务的最适合的预训练流程和骨干架构之外，我们的结果表明：自监督预训练通常比有监督预训练更适合GIE视觉任务；自监督预训练中使用ImageNet-1k通常比使用Hyperkvasir-未标注更适用，但对于结肠镜单眼深度估计有显著异常；ViT-B更适合于息肉分割和结肠镜单眼深度估计，而ResNet50更适合于息肉检测，而两种架构在解剖标志识别和病理结果特征化方面的表现相似。希望这项工作能引起人们对GIE视觉任务预训练复杂性的关注，并促进比传统方法更适合的方法的发展，同时鼓励进一步开展相关研究来推动该领域的发展。

    Jan, 2024

  • 多层稠密注意力解码器用于息肉分割

    通过引入名为Dense Attention Gate的新模块，建立了多层特征之间的本地特征关系，同时采用新的嵌套解码器架构来增强语义特征，并与PVT主干网络相结合，实现了多层密集特征的层次聚合，从而在多个数据集上取得了最新的性能表现，优于先前的模型。

    Mar, 2024

  • 结直肠镜图像中的自动息肉分割

    使用扩张卷积模块和交叉注意力网络对结肠内镜图像中的息肉进行分割，并结合数据增强技术和全局平均池化的方法，在处理不规则息肉形状时实现了明显的改进。

    Apr, 2024

  • BetterNet: 一种高效的卷积神经网络架构，具备残差学习和注意力机制，用于精确的息肉分割

    通过将残差学习和注意力方法结合的BetterNet卷积神经网络架构，有效增强息肉分割准确性，具有高效梯度传播、多尺度特征整合、关注关键区域学习过程、确保计算效率等特点，进一步优于现有的基准模型，为结直肠癌的早期识别和计算机辅助诊断提供新的可能。

    May, 2024

  • 基于CNN-Transformer模型的内窥镜和视频胶囊图像分类

    本研究针对传统内窥镜图像分析中主观性强的问题，提出了一种组合卷积神经网络（CNN）和Transformer的混合模型，以提高分类性能。实验结果表明，该模型在GastroVision和Kvasir-Capsule数据集上的分类效果优于其他模型，展示了其在早期检测胃肠道异常方面的潜力。

    Aug, 2024