一种基于 Transformer 的胃肠道疾病检测方法
本研究提出了一种多任务利用全局上下文感知模块和特征对齐块的 Transformer-based 深度神经网络，可用于精确识别上消化道病变和肠息肉，实验证明其性能卓越。
Jul, 2023
使用不同的卷积神经网络和 Transformer 方法以及广泛的数据增强技术，在三个医学图像数据集上比较了它们的表现，并将视觉 Transformer 模型与其他先进的预训练 CNN 网络进行了评估和比较，在分类不同的解剖结构、所见和异常方面，我们的 Transformer 模型优于或更有效，比 CNN 基于的方法有所改进，建议将其用作算法开发的新基准算法。
Apr, 2023
内窥镜在识别胃肠道的潜在异常方面起着重要作用。最近，深度学习，特别是卷积神经网络（CNNs），在胃肠道内窥镜图像分析方面报道了显著的优势。然而，现有的模型大多关注性能的提高，缺乏开发在资源有限环境中运行的轻量级模型的重点。我们通过三种基于知识蒸馏学习框架进行研究，并引入了一种新颖的基于多头注意力的特征融合机制来支持基于关系的学习。在两个广泛使用的公共数据集 KVASIR-V2 和 Hyper-KVASIR 上进行了广泛的评估，实验结果表明了我们提出的基于关系的框架在实现资源有限环境中运行的改进轻量级模型（仅有 51.8k 可训练参数）方面的优点。
Aug, 2023
本文提出了一个利用深度学习来改善诊断失误率的框架，针对胃肠道癌症的诊断，利用端到端的师生学习方式，采用多类别学生网络来利用训练过的师范模型的类别概率，从而提高困难检测病变的定位并最小化漏检率，模型在两个数据集上都实现了更高的 mAP，并且具有泛化性。
Jul, 2022
本研究提出了一种有效地对视频胶囊内镜图像进行肠胃分类的方法，该方法通过将卷积神经网络（CNN）用于分类与隐马尔可夫模型（HMM）的时间序列分析属性相结合，演示了连续的时间序列分析可以识别和纠正 CNN 输出的错误，该方法在罗得岛（RI）胃肠病学数据集上达到了 98.04％的准确率，适用于只需大约 1M 参数的低功耗设备，从而可以精确定位胃肠道。
Oct, 2023
为了在临床实践中整合实时人工智能系统，需要解决数据可用性、数据质量和缺乏多样性数据集等挑战。为此，我们介绍了 GastroVision，一个多中心开放获取的胃肠内镜数据集，该数据集包括来自胃肠道的 24 种不同病理异常、息肉切除病例和正常发现，提供了大规模、精确标记的多样化数据集，并验证了数据集的重要性。我们相信，该数据集可以促进基于人工智能的胃肠疾病检测和分类算法的开发。
Jul, 2023
本文提出了一种基于进化算法的改进型 Transformer 架构，用于医学图像分类。该架构在 Convolutional Neural Networks 和 Vision Transformers 的基础上结合了它们的优势，利用它们在数据中识别模式和适应特定特征的能力。实验结果表明，与基准模型相比，所提出的 EATFormer 显著改善了预测速度和准确性。
Mar, 2024
使用非对比度 CT 扫描结合深度学习方法进行胃癌筛查，通过独特的集群感应掩膜变换技术实现肿瘤分割和异常分类，与传统方法相比具有更高的敏感性和准确性，是一种新型的、非侵入性、低成本且准确的机会性胃癌筛查方法。
Jul, 2023
结合计算机视觉和自然语言处理，提出了一种多模态学习方法来改善胃肠道图像上的视觉问答性能，通过 BERT 编码器和基于卷积神经网络（CNN）和 Transformer 架构的不同预训练视觉模型从问题和内窥镜图像中提取特征，结果显示 Transformer-based 视觉模型在 CNN 上具有优势，并展示了图像增强过程的有效性。
Jul, 2023