Jul, 2023

GastroVision: 计算机辅助胃肠疾病检测的多类胃镜图像数据集

PDF
TL;DR为了在临床实践中整合实时人工智能系统，需要解决数据可用性、数据质量和缺乏多样性数据集等挑战。为此，我们介绍了 GastroVision，一个多中心开放获取的胃肠内镜数据集，该数据集包括来自胃肠道的 24 种不同病理异常、息肉切除病例和正常发现，提供了大规模、精确标记的多样化数据集，并验证了数据集的重要性。我们相信，该数据集可以促进基于人工智能的胃肠疾病检测和分类算法的开发。
real-time artificial intelligencedata availabilitydiverse datasetsgi endoscopy datasetdeep learning based baseline models
发现论文，激发创造
  • 利用大型语言和视觉模型从大规模图像 - 文本结肠镜记录中提取和浓缩知识

    使用大型语言和视觉模型的最新进展，我们提出了 EndoKED，一种用于深度知识提取和蒸馏的数据挖掘范式，可以自动将原始结肠镜记录转化为具有像素级注释的图像数据集。通过验证 EndoKED 使用的多中心原始结肠镜记录数据集（约 100 万张图像），我们证明其在训练息肉检测和分割模型方面具有卓越的性能。此外，EndoKED 预训练的视觉骨干为光学活检提供了数据高效和可推广的学习，实现了回顾性和前瞻性验证中的专家级表现。

    Oct, 2023

  • REAL-Colon: 结肠镜检查中开发真实世界的 AI 应用的数据集

    通过引入 REAL-Colon 数据集，研究人员和开发人员可以推进结肠镜下人工智能研究，实现更准确可靠的结肠镜相关算法和模型的发展与基准测试。

    Mar, 2024

  • 采用带类别感知损失的知识蒸馏进行内窥镜疾病检测

    本文提出了一个利用深度学习来改善诊断失误率的框架，针对胃肠道癌症的诊断，利用端到端的师生学习方式，采用多类别学生网络来利用训练过的师范模型的类别概率，从而提高困难检测病变的定位并最小化漏检率，模型在两个数据集上都实现了更高的 mAP，并且具有泛化性。

    Jul, 2022

  • MEDVQA-GI 2023 中 UIST-Saviors: 基于图像增强的胃肠道可视化问题回答的多模态学习改进

    结合计算机视觉和自然语言处理，提出了一种多模态学习方法来改善胃肠道图像上的视觉问答性能，通过 BERT 编码器和基于卷积神经网络（CNN）和 Transformer 架构的不同预训练视觉模型从问题和内窥镜图像中提取特征，结果显示 Transformer-based 视觉模型在 CNN 上具有优势，并展示了图像增强过程的有效性。

    Jul, 2023

  • 一种基于 Transformer 的胃肠道疾病检测方法

    本研究使用视觉转换器和迁移学习模型对内窥镜图像进行特征分类，从而协助医疗诊断，识别肠道疾病，准确率可达 95.63％。与预训练的卷积神经网络模型 DenseNet201 进行比较，并证明视觉转换器在各种数量化性能评估指标上均优于 DenseNet201。

    Oct, 2022

  • 通过引导学习：内窥镜图像分类的知识蒸馏

    内窥镜在识别胃肠道的潜在异常方面起着重要作用。最近，深度学习，特别是卷积神经网络（CNNs），在胃肠道内窥镜图像分析方面报道了显著的优势。然而，现有的模型大多关注性能的提高，缺乏开发在资源有限环境中运行的轻量级模型的重点。我们通过三种基于知识蒸馏学习框架进行研究，并引入了一种新颖的基于多头注意力的特征融合机制来支持基于关系的学习。在两个广泛使用的公共数据集 KVASIR-V2 和 Hyper-KVASIR 上进行了广泛的评估，实验结果表明了我们提出的基于关系的框架在实现资源有限环境中运行的改进轻量级模型（仅有 51.8k 可训练参数）方面的优点。

    Aug, 2023

  • UGCANet：一种统一的全局上下文感知基于 Transformer 的网络，具有特征对齐功能，用于内窥镜图像分析

    本研究提出了一种多任务利用全局上下文感知模块和特征对齐块的 Transformer-based 深度神经网络，可用于精确识别上消化道病变和肠息肉，实验证明其性能卓越。

    Jul, 2023

  • DeepGI：一个 MRI 扫描中胃肠道分割的自动化方法

    该论文介绍了一种切入先进的方法，能够自动化地在磁共振成像（MRI）扫描中分割胃肠道区域。利用先进的深度学习架构，该模型整合了 Inception-V4 进行初始分类，带有 VGG19 编码器的 UNet++ 用于 2.5D 数据，以及 Edge UNet 用于灰度数据分割。通过精心的数据预处理，包括创新的 2.5D 处理，以提高适应性，稳健性和准确性。

    Jan, 2024

  • 外科手术场景分割、目标检测和安全评估的内窥镜数据集：官方划分和基准

    这份技术报告提供了对 Endoscapes 数据集的详细概述，该数据集是一组镜内胆囊切除术（LC）视频，具有高度复杂的标注，旨在自动评估安全关键视图（CVS）；报道了数据集的详细统计信息和实例分割、目标检测和 CVS 预测的全面性能基准。

    Dec, 2023

  • 胶囊内镜和人工智能的交叉领域：利用机器学习应对独特挑战

    研究介绍了视频胶囊内窥镜、人工智能以及 VCE 数据解释等主题，使用卷积神经网络准确识别解剖标记，以轻量级模型提高临床医生信心。

    Aug, 2023