跨参考转换器用于少样本医学图像分割
本研究介绍了一种简单而有效的半监督医学图像分割框架,通过引入 CNN 和 Transformer 之间的交叉教学,将一个网络的预测作为伪标签来直接监督另一个网络,实验结果表明我们的方法在公共基准上优于八种现有的半监督学习方法,具有非常有前途的应用前景。
Dec, 2021
本研究提出了一种统一的变形器网络,称为多化合物变形器(MCTrans),可嵌入 UNet-like 网络中,并在生物医学图像分割中显着提高了最先进方法的性能。它使用自我关注和交叉注意力进行多尺度卷积特征的序列嵌入,引入了可学习的代理嵌入来模拟语义关系和特征增强。
Jun, 2021
在本文中,我们提出了一种使用对比式分组和 Transformer 网络 (CGFormer) 的掩模分类框架,通过基于令牌的查询和分组策略来明确捕捉对象级信息。CGFormer 通过交替查询语言特征并将视觉特征分组到查询令牌中进行对象感知的跨模态推理,最终通过对比学习来确定与参考对象对应的令牌及其掩模,实验结果显示 CGFormer 在分割和泛化设置中始终明显优于最先进的方法。
Sep, 2023
通过使用单一的条件模型,根据输入类型调整其归一化层来实现多模态图像的公平图像分割,并在多模态全心分割挑战中优于其他跨模态分割方法。
Oct, 2023
本文研究了现代视觉系统的表现下降原因:监督学习时神经网络模型表示出现了监督崩溃现象,即模型丢失了一些与训练任务无关但对多任务或多领域转移有用的信息。作者提出了两种方法来缓解该问题:一是利用自监视学习以鼓励更通用的特征,二是提出了一种新型的基于 Transformer 的神经网络结构 CrossTransformers,可以用少量标记图像和无标记查询项,找到查询项与标记图像之间的粗略空间对应关系,从而通过计算空间对应特征之间的距离来推断其分类。结果是得到一个更加适应任务和领域转移的分类器,证明了在 Meta-Dataset 上的最新成果。
Jul, 2020
引入了 U-Transformer 网络,结合了用于图像分割的 U 形模型和 Transformer 的自注意和交叉注意力机制,有效地克服了 U-Net 难以对长程上下文交互和空间依赖性建模的问题,在两个腹部 CT 图像数据集上表现出明显的优势。
Mar, 2021
本文提出了一种基于 TRansformer 网络的 Few-shot 语义分割方法(TRFS),它采用全局增强模块(GEM)和局部增强模块(LEM)相结合的方法,可以在 PASCAL-5i 和 COCO 数据集上取得新的最优表现。
Aug, 2021
使用少样本学习的方法,本研究提出了一种基于深度学习的医学图像分割框架 MatchSeg,通过匹配参考图像和设计联合注意力模块,实现了高效的领域泛化和优越的分割性能。
Mar, 2024
使用少量有标签的支持图像来识别新类别对象的分割,本文提出了 Target-aware Bi-Transformer Network(TBTNet)以等效处理支持图像和查询图像,并设计了强大的 Target-aware Transformer Layer(TTL)以提取相关性并强制模型关注前景信息,该方法在 PASCAL-5i 和 COCO-20i 标准 FSS 基准测试上表现出色。
Sep, 2023