本研究使用视觉转换器和迁移学习模型对内窥镜图像进行特征分类，从而协助医疗诊断，识别肠道疾病，准确率可达 95.63％。与预训练的卷积神经网络模型 DenseNet201 进行比较，并证明视觉转换器在各种数量化性能评估指标上均优于 DenseNet201。

Oct, 2022

内窥镜在识别胃肠道的潜在异常方面起着重要作用。最近，深度学习，特别是卷积神经网络（CNNs），在胃肠道内窥镜图像分析方面报道了显著的优势。然而，现有的模型大多关注性能的提高，缺乏开发在资源有限环境中运行的轻量级模型的重点。我们通过三种基于知识蒸馏学习框架进行研究，并引入了一种新颖的基于多头注意力的特征融合机制来支持基于关系的学习。在两个广泛使用的公共数据集 KVASIR-V2 和 Hyper-KVASIR 上进行了广泛的评估，实验结果表明了我们提出的基于关系的框架在实现资源有限环境中运行的改进轻量级模型（仅有 51.8k 可训练参数）方面的优点。

Aug, 2023

该论文介绍了一种切入先进的方法，能够自动化地在磁共振成像（MRI）扫描中分割胃肠道区域。利用先进的深度学习架构，该模型整合了 Inception-V4 进行初始分类，带有 VGG19 编码器的 UNet++ 用于 2.5D 数据，以及 Edge UNet 用于灰度数据分割。通过精心的数据预处理，包括创新的 2.5D 处理，以提高适应性，稳健性和准确性。

Jan, 2024

本文介绍了一种用于医学图像分割的新型深度学习模型 SSFormer，该模型使用了金字塔 Transformer 编码器来改进模型的泛化能力，提高了模型的学习和推广表现。

Mar, 2022

本研究提出了一种有效地对视频胶囊内镜图像进行肠胃分类的方法，该方法通过将卷积神经网络（CNN）用于分类与隐马尔可夫模型（HMM）的时间序列分析属性相结合，演示了连续的时间序列分析可以识别和纠正 CNN 输出的错误，该方法在罗得岛（RI）胃肠病学数据集上达到了 98.04％的准确率，适用于只需大约 1M 参数的低功耗设备，从而可以精确定位胃肠道。

Oct, 2023

结合计算机视觉和自然语言处理，提出了一种多模态学习方法来改善胃肠道图像上的视觉问答性能，通过 BERT 编码器和基于卷积神经网络（CNN）和 Transformer 架构的不同预训练视觉模型从问题和内窥镜图像中提取特征，结果显示 Transformer-based 视觉模型在 CNN 上具有优势，并展示了图像增强过程的有效性。

Jul, 2023

本文提出了一个利用深度学习来改善诊断失误率的框架，针对胃肠道癌症的诊断，利用端到端的师生学习方式，采用多类别学生网络来利用训练过的师范模型的类别概率，从而提高困难检测病变的定位并最小化漏检率，模型在两个数据集上都实现了更高的 mAP，并且具有泛化性。

Jul, 2022

为了在临床实践中整合实时人工智能系统，需要解决数据可用性、数据质量和缺乏多样性数据集等挑战。为此，我们介绍了 GastroVision，一个多中心开放获取的胃肠内镜数据集，该数据集包括来自胃肠道的 24 种不同病理异常、息肉切除病例和正常发现，提供了大规模、精确标记的多样化数据集，并验证了数据集的重要性。我们相信，该数据集可以促进基于人工智能的胃肠疾病检测和分类算法的开发。

Jul, 2023

提出一种基于混合卷积神经网络的异常检测算法，通过三个并行的卷积神经网络提取多种特征，在 KID 和 Kvasir-Capsule 数据集上的测试结果表明，该算法的分类精度高达 97% 和 98%。

Jul, 2022

通过使用小型真实内窥镜图像数据集训练，生成大量合成样本，然后使用主动学习方法选择最有信息量的样本进行分类器训练的主动学习基于生成扩增方法，在公开可用的内窥镜图像数据集上展示了该方法的有效性，结果显示使用合成样本与主动学习相结合相比只使用原始标记样本的基线分类性能（68.1%）提高到了 74.5% 的 Quadratic Weighted Kappa (QWK) 评分，另一个观察结果是仅使用真实数据达到相同性能需要三倍的图像数量。

Nov, 2023