少样本湿疹分割的视觉情境学习

Sep, 2023

Visual In-Context Learning for Few-Shot Eczema Segmentation

Neelesh Kumar, Oya Aran, Venugopal Vasudevan

TL;DR通过应用上下文学习的方法，我们提出了一种几乎不需要重新训练模型，只需要少量示例图像即可进行湿疹分割的策略，与使用 428 个图像进行训练的 CNN U-Net 相比，使用训练数据集中仅有的 2 个代表图像训练的 SegGPT 表现更好（mIoU: 36.69 vs. 32.60），并发现在 SegGPT 中使用更多的示例图像可能对其性能有害，这强调了在皮肤成像任务中发展更快更好的解决方案时，视觉上下文学习的重要性，我们的结果还为开发能够满足训练数据中通常严重不足的少数群体的包容性解决方案铺平了道路。

Abstract

automated diagnosis of eczema from digital camera images is crucial for developing applications that allow patients to self-monitor their recovery. An important component of this is the segmentation of eczema region from such images. Current methods for →

automated diagnosis eczema segmentation visual in-context learning few-shot learning skin imaging tasks

发现论文，激发创造

上下文学习使得多模态大型语言模型能够对癌症病理图像进行分类

本研究评估了具有上下文学习能力的模型 Generative Pretrained Transformer 4 with Vision (GPT-4V) 在癌症图像处理中的应用，结果显示在组织亚型分类、结肠息肉亚型分类和淋巴结切片中的乳腺肿瘤检测等三项癌症组织病理学任务中，使用上下文学习可以达到或超过针对特定任务训练的神经网络的性能，且只需使用较少的样本。总结起来，本研究表明，在病理学中，基于非领域特定数据训练的大型视觉语言模型可以直接应用于解决医学图像处理任务，这使得非技术背景的医学专家在样本稀缺的领域中能够使用通用的人工智能模型。

Mar, 2024

引导式上下文门控：学习利用视网膜底图中显著病变

通过引入 Guided Context Gating 注意机制，本研究提出了一种用于有效表示医学图像（特别是视网膜图像）的新方法，相较于现有注意机制，在定位病变上具有更好的效果，并在视网膜病变的严重程度评估中实现了显著的精度提升。

Jun, 2024

SegGPT：上下文中的所有内容分割

SegGPT 是一个通用的模型，通过将各种分割任务转换为图像格式，将多个分割任务统一为一个框架，并通过随机颜色映射的上下文涂色问题进行训练。该模型可以在图像或视频分类下进行任意分割任务，并在各种任务中表现出强大的能力，包括少样本语义分割、视频对象分割、语义分割和全景分割。

Apr, 2023

适用于少样本医学图像分割的循环掩模细化

本文提出了一个新的基于原型网络的少样本医学图像分割框架，它以两个关键模块：上下文关系编码器和反复使用原型网络的逐步掩模细化模块作为创新，通过对两个腹部 CT 数据集和一个腹部 MRI 数据集的实验表明，该方法相对于现有最先进的方法平均提高了 16.32％、8.45％和 6.24％，有效地解决了深度卷积神经网络在医学图像分割方面的困难。

Aug, 2021

UCM-Net：使用 MLP 和 CNN 的轻量级高效皮肤病变分割解决方案

通过整合多层感知器和卷积神经网络，我们提出了一种高效低成本的 UCM-Net 解决方案，用于皮肤病变分割，其参数不超过 50KB 且每秒运算次数不超过 0.05 Giga-Operations，为皮肤病变分割领域的高效性设立了新的可能标准。

Oct, 2023

皮肤病损检测和分割的多任务框架

使用 Faster-RCNN 和 SkinNet 的多任务卷积神经网络（CNN）的联合检测和分割框架，对皮肤病变进行准确和自动地划分，并且在 ISBI 2017 数据集上得到了 Dice 系数大于 0.93、Jaccard 系数大于 0.88、准确率大于 0.96 和敏感度大于 0.95 的良好表现。

Aug, 2018

基于视觉转换的皮肤病生成与分类

本文提出了一个新的多类预测框架，基于 ViT 和 ViTGAN，在使用可解释 AI 的情况下，对皮肤病变分类。该框架分四个阶段，引入了生成对抗网络来解决类不平衡问题，使用卷积神经网络实现分类，实验结果相较于现有框架有所改善。

Feb, 2023

基于生成对抗网络的皮损分割

使用对抗学习的算法开发的可自动生成皮肤病变掩膜的 EGAN 算法，可应用于皮肤癌病变的计算机辅助诊断，其精度比当前最先进的基于皮损分割的方法高出 2% 的 Dice 系数，1% 的 Jaccard 相似度，和 1% 的准确度。

May, 2023

面向非黑色素皮肤癌高度表现力的机器学习模型

采用离散建模技术应用于非黑素瘤皮肤癌问题，通过实现 VQ-GAN 模型重建高分辨率 IEC 图像并训练序列转换器以生成自然语言描述，提供了理解疾病的另一个角度。

Jul, 2022

简化超声医学图像分割的视觉上下文学习与遮罩图像模型结合的简单框架

新的简单视觉上下文学习（ICL）方法 SimICL 结合被设计用于自监督学习的屏蔽图像建模（MIM）对配对图像进行视觉 ICL，成功地在具有有限注释的腕部超声数据集上验证，对于骨骼结构分割取得了非常高的 Dice 系数（DC）和 Jaccard 指数（IoU），并能减少图像标注需要的人工专家时间，提高超声图像分析中人工智能辅助的实际应用。

Feb, 2024