无线胶囊内镜基于 Swin Transformer 和 RT-DETR 的出血帧分类与检测的稳健流程

Jun, 2024

无线胶囊内镜基于 Swin Transformer 和 RT-DETR 的出血帧分类与检测的稳健流程

A Robust Pipeline for Classification and Detection of Bleeding Frames in Wireless Capsule Endoscopy using Swin Transformer and RT-DETR

PDF

Sasidhar Alavala, Anil Kumar Vadde, Aparnamala Kancheti, Subrahmanyam Gorthi

TL;DR本文描述了我们在 Auto WCEBleedGen 挑战赛 V2 2024 中的方法，结合了 Swin Transformer 用于出血帧的初步分类以及 RT-DETR 用于进一步检测无线胶囊内窥镜图像中的出血，同时还采用了一系列图像预处理步骤，包括将图像转换为 Lab 颜色空间，使用限制对比适应性直方图均衡化（CLAHE）进行对比度增强，以及使用高斯模糊抑制伪影。该方法在验证集上达到了 98.5％的分类准确率（优于其他最先进模型的表现），相较于无任何预处理的 91.7％，在 $ ext {AP}_{50}$ 上达到了 66.7％（相较于最先进的 YOLOv8 的 65.0％）。在测试集上，该方法的分类准确性和 F1 得分分别为 87.0％和 89.0％。

Abstract

In this paper, we present our approach to the auto wcebleedgen challenge v2 2024. Our solution combines the swin transformer for the initial classification of bleeding frames and →

auto wcebleedgen challenge v2 swin transformer rt-detr wireless capsule endoscopy (wce)image preprocessing

发现论文，激发创造

基于差异性的主动学习用于无监督弱标签胶囊内窥镜图像出血分割

该研究提出了一种新的基于差异的主动学习方法（Discrepancy-basEd Active Learning），以几个注释来缩小类激活图（CAM）与真实结果之间的差距，并使用 CAMPUS 准则来预测 CAM 与真实结果之间的差距。使用 WCE 数据集评估了该方法，结果表明我们的方法优于最先进的主动学习方法，并且在只标记了 10% 的训练数据的情况下达到与完全标记数据集训练的方法相当的性能。

Aug, 2023

视频胶囊内窥镜中出血区域分割的半监督学习

通过采用半监督学习方法和深度学习技术，我们开发了一种基于视频胶囊内窥镜图像的出血区域分割策略，有效减少了对大量标注数据的依赖，同时保持了准确识别的能力。

Aug, 2023

基于 Swin Transformers 的全自动流水线用于脑动脉瘤硬膜下出血后头部 CT 扫描的基于深度学习的血液分割

利用 Swin UNETR 的基于人工智能的完全自动化血液分割工具，该研究开发和验证了针对非对比增强 CT（NCCT）扫描的 SAH 患者的自发性蛛网膜下腔出血（SAH）的准确容积评估方法，其效果鲁棒且具有广泛的临床可采用性。

Dec, 2023

LW-DETR：实时检测的一种用于替代 YOLO 的 Transformer

本文介绍了一种轻量级检测变换器 (LW-DETR)，它在实时目标检测方面优于 YOLO，架构简单，由 ViT 编码器、投影器和浅层 DETR 解码器组成，结合训练有效技术和插入式窗口和全局注意力等最新技术，改进了 ViT 编码器的复杂性，实验证明所提出的方法在 COCO 和其他基准数据集上优于现有的实时检测器。

Jun, 2024

一种混合卷积神经网络与元特征学习的膳食胶囊内窥镜图像异常检测方法

提出一种基于混合卷积神经网络的异常检测算法，通过三个并行的卷积神经网络提取多种特征，在 KID 和 Kvasir-Capsule 数据集上的测试结果表明，该算法的分类精度高达 97% 和 98%。

Jul, 2022

DETR 在实时目标检测中击败了 YOLO

本文提出了第一款实时端到端物体检测器 ——Real-Time DEtection TRansformer（RT-DETR），支持灵活调整推理速度且在速度和准确度上均优于同一规模的 YOLO 检测器以及 DINO-Deformable-DETR-R50 模型，采用了高效的混合编码器处理多尺度特征并提出 IoU 感知的查询选择。

Apr, 2023

通过信息增强和自适应特征融合的方式，在 DETR 中进行小物体检测

本研究针对小物体检测中 RT-DETR 模型的准确性不足提出了两个关键改进：首先，引入细粒度路径增强方法以提供更多详细信息来精确定位小物体；其次，采用自适应特征融合算法来有效整合不同尺度的特征信息，从而提高模型对不同尺度目标的检测准确率。

Jan, 2024

借鉴 Zoom：解耦有监督对比学习用于 WCE 图像分类

通过解决微小病变和背景干扰等挑战，以及利用放大增强器生成放大后的 WCE 图像从而学习鲁棒表示，我们提出了一种用于 WCE 图像分类的去耦合监督对比学习方法。训练一个线性分类器来使用这些表示，在仅 10 个 epoch 内取得了惊人的 92.01％的整体准确率，超过了前一最先进方法 0.72％，基于两个公开可访问的 WCE 数据集。

Jan, 2024

使用 Transformer 进行端到端的目标检测

该研究提出了一种新方法，将目标检测作为直接集合预测问题进行处理，主要采用基于集合的全局损失和 Transformer 编码器 - 解码器架构构建 DETR 模型，能够高效地完成目标检测和全景分割任务，相较于许多现代检测器，DETR 模型概念简单且不需要专门的库。

May, 2020

医学物体检测中的检测变形器的应用

本研究探讨了使用 DEtection TRansformer（DETR）检测医学成像中可疑区域的可行性，研究表明这种方法能够与甚至优于当前方法进行匹配，且无需依赖锚点或手动启发式设计等方式来检测对象。

Jun, 2023