Aug, 2023

通过引导学习：内窥镜图像分类的知识蒸馏

PDF
TL;DR内窥镜在识别胃肠道的潜在异常方面起着重要作用。最近，深度学习，特别是卷积神经网络（CNNs），在胃肠道内窥镜图像分析方面报道了显著的优势。然而，现有的模型大多关注性能的提高，缺乏开发在资源有限环境中运行的轻量级模型的重点。我们通过三种基于知识蒸馏学习框架进行研究，并引入了一种新颖的基于多头注意力的特征融合机制来支持基于关系的学习。在两个广泛使用的公共数据集 KVASIR-V2 和 Hyper-KVASIR 上进行了广泛的评估，实验结果表明了我们提出的基于关系的框架在实现资源有限环境中运行的改进轻量级模型（仅有 51.8k 可训练参数）方面的优点。
endoscopydeep learningconvolution neural networks (cnns)low-resource environmentslightweight model
发现论文，激发创造
  • 采用带类别感知损失的知识蒸馏进行内窥镜疾病检测

    本文提出了一个利用深度学习来改善诊断失误率的框架，针对胃肠道癌症的诊断，利用端到端的师生学习方式，采用多类别学生网络来利用训练过的师范模型的类别概率，从而提高困难检测病变的定位并最小化漏检率，模型在两个数据集上都实现了更高的 mAP，并且具有泛化性。

    Jul, 2022

  • 利用大型语言和视觉模型从大规模图像 - 文本结肠镜记录中提取和浓缩知识

    使用大型语言和视觉模型的最新进展，我们提出了 EndoKED，一种用于深度知识提取和蒸馏的数据挖掘范式，可以自动将原始结肠镜记录转化为具有像素级注释的图像数据集。通过验证 EndoKED 使用的多中心原始结肠镜记录数据集（约 100 万张图像），我们证明其在训练息肉检测和分割模型方面具有卓越的性能。此外，EndoKED 预训练的视觉骨干为光学活检提供了数据高效和可推广的学习，实现了回顾性和前瞻性验证中的专家级表现。

    Oct, 2023

  • 一种基于 Transformer 的胃肠道疾病检测方法

    本研究使用视觉转换器和迁移学习模型对内窥镜图像进行特征分类，从而协助医疗诊断，识别肠道疾病，准确率可达 95.63％。与预训练的卷积神经网络模型 DenseNet201 进行比较，并证明视觉转换器在各种数量化性能评估指标上均优于 DenseNet201。

    Oct, 2022

  • UGCANet：一种统一的全局上下文感知基于 Transformer 的网络，具有特征对齐功能，用于内窥镜图像分析

    本研究提出了一种多任务利用全局上下文感知模块和特征对齐块的 Transformer-based 深度神经网络，可用于精确识别上消化道病变和肠息肉，实验证明其性能卓越。

    Jul, 2023

  • 溃疡性结肠炎 Mayo 内镜评分分类的主动学习和生成数据增强

    通过使用小型真实内窥镜图像数据集训练，生成大量合成样本，然后使用主动学习方法选择最有信息量的样本进行分类器训练的主动学习基于生成扩增方法，在公开可用的内窥镜图像数据集上展示了该方法的有效性，结果显示使用合成样本与主动学习相结合相比只使用原始标记样本的基线分类性能（68.1%）提高到了 74.5% 的 Quadratic Weighted Kappa (QWK) 评分，另一个观察结果是仅使用真实数据达到相同性能需要三倍的图像数量。

    Nov, 2023

  • EndoNet: 深度网络结构用于腹腔镜视频识别任务

    本研究提出了一种新的方法，使用卷积神经网络从胆囊切除术视频中自动学习特征，以完成手术阶段识别和工具存在检测等多任务学习，该方法取得了最好的效果。

    Feb, 2016

  • 使用 CNN 特征进行 NBI 内窥镜下辅助结直肠肿瘤分类

    本文通过对不同 CNN 模型提取特征，并使用 SVM 分类器进行比较实验，得出在结肠镜图像识别方面，通过提取卷积层的特征即可达到 95% 的识别率，不需使用非 CNN 局部特征。

    Aug, 2016

  • 可解释且成本敏感的深度神经网络通过监督对比学习进行肠胃疾病分类

    本文介绍了一种新方法，通过利用费用敏感的预训练深度卷积神经网络和有监督对比学习分类胃肠疾病，以捕获与疾病相关的关键特征，并考虑样本之间的相似性关系，从而为医疗保健中的准确疾病分类提供帮助。作者还结合了可解释人工智能的梯度技术，提高了模型的可解释性，并在广泛的胃肠疾病数据集上进行了测试，证明了该方法的高度准确度、强韧性和可解释性。

    Jul, 2023

  • 通过结合 CNNs 的分类和 HMMs 的时间序列分析在胃肠道中进行精确定位

    本研究提出了一种有效地对视频胶囊内镜图像进行肠胃分类的方法，该方法通过将卷积神经网络（CNN）用于分类与隐马尔可夫模型（HMM）的时间序列分析属性相结合，演示了连续的时间序列分析可以识别和纠正 CNN 输出的错误，该方法在罗得岛（RI）胃肠病学数据集上达到了 98.04％的准确率，适用于只需大约 1M 参数的低功耗设备，从而可以精确定位胃肠道。

    Oct, 2023

  • GastroVision: 计算机辅助胃肠疾病检测的多类胃镜图像数据集

    为了在临床实践中整合实时人工智能系统，需要解决数据可用性、数据质量和缺乏多样性数据集等挑战。为此，我们介绍了 GastroVision，一个多中心开放获取的胃肠内镜数据集，该数据集包括来自胃肠道的 24 种不同病理异常、息肉切除病例和正常发现，提供了大规模、精确标记的多样化数据集，并验证了数据集的重要性。我们相信，该数据集可以促进基于人工智能的胃肠疾病检测和分类算法的开发。

    Jul, 2023