Apr, 2024

SkinGEN：一个可解释的皮肤科诊断生成框架，配有交互式视觉语言模型

PDF
TL;DR通过扩展视觉语言模型技术，本文提出了一种名为 SkinGEN 的诊断生成框架，通过使用稳定扩散 (SD) 方法从视觉语言模型的诊断结果生成参考演示，从而增强用户的视觉可解释性。实验证明，SkinGEN 显著改善了用户对视觉语言模型预测的理解，增加了对诊断过程的信任，为更加透明和用户中心的视觉语言模型应用在皮肤科学及其他领域铺平了道路。
vision language modelsdermatologyskingenvisual explainabilitydiagnosis-to-generation framework
发现论文，激发创造
  • 基于视觉转换的皮肤病生成与分类

    本文提出了一个新的多类预测框架，基于 ViT 和 ViTGAN，在使用可解释 AI 的情况下，对皮肤病变分类。该框架分四个阶段，引入了生成对抗网络来解决类不平衡问题，使用卷积神经网络实现分类，实验结果相较于现有框架有所改善。

    Feb, 2023

  • SkinGPT：基于大型自然语言视觉模型的皮肤科诊断系统

    本文介绍了一种基于视觉和大型语言模型的皮肤科诊断系统 SkinGPT，可以自动诊断皮肤病的特征和类别，并提供治疗建议，实现了本地部署和用户隐私保护。

    Apr, 2023

  • DermGAN：临床皮肤病理图像的合成生成

    本研究使用生成式对抗网络（GAN）创建临床图像合成，提出了适应于特定皮肤病状的 DermGAN，并使用合成图像作为数据增强技术，提高了皮肤病分类器的性能。

    Nov, 2019

  • 基于概念的皮肤病诊断视觉语言模型的诠释性研究

    基于视觉语言模型的嵌入学习策略可以在皮肤病诊断中减少对大量概念标注样本的依赖，提高准确性，并且比自动生成概念的特定方法所需的概念标注样本数量更少。

    Nov, 2023

  • 基于生成对抗网络的皮损分割

    使用对抗学习的算法开发的可自动生成皮肤病变掩膜的 EGAN 算法，可应用于皮肤癌病变的计算机辅助诊断，其精度比当前最先进的基于皮损分割的方法高出 2% 的 Dice 系数，1% 的 Jaccard 相似度，和 1% 的准确度。

    May, 2023

  • 通过视觉和文本提示增强皮肤镜病变分割的扩散模型

    应用扩散模型结合病灶特定的视觉和文本提示生成皮肤镜检测图像，相对于传统生成模型在图像质量和皮损分割性能上表现更优，SSIM 图像质量指标提高 9%，Dice 系数超过先前方法 5% 以上。

    Oct, 2023

  • 面向非黑色素皮肤癌高度表现力的机器学习模型

    采用离散建模技术应用于非黑素瘤皮肤癌问题，通过实现 VQ-GAN 模型重建高分辨率 IEC 图像并训练序列转换器以生成自然语言描述，提供了理解疾病的另一个角度。

    Jul, 2022

  • 基于皮肤镜和临床图像的多标签皮损分类图集学习模型

    本文提出了一种基于图卷积网络和集成学习的方法，用于皮肤病变分析中的多模态数据的多标签分类，该方法可以成功地利用先前的共现关系，可在不同数据集上提高分类性能并取得最新成果。

    Jul, 2023

  • Dermacen Analytica：在远程皮肤科中整合多模态大型语言模型与机器学习的新方法

    通过结合机器学习算法、分类器、分割算法和最新的大型语言模型，本文描述、实现和评估了一种基于人工智能的系统和方法，旨在辅助皮肤病变和其他皮肤状况的诊断过程，并通过综合方法全面解决皮肤病理诊断的问题。该方法整合了大型语言模型、基于变形器的视觉模型和复杂的机器学习工具，通过使用公开可用的皮肤病例和相关图像，通过交叉模型验证技术和自然语言处理工具评估了提出的方法。我们实现的系统在上下文理解和诊断准确性两个方面均获得了约为 0.87 的加权得分，证明了我们方法的有效性。该方法预期在发展下一代远程皮肤科咨询应用中发挥重要作用，增强远程会诊能力和卫生保健服务的可及性，特别是在服务不足的地区。

    Mar, 2024

  • 一种新型多任务模型模仿皮肤科医生在临床图像中进行准确的皮肤病差异诊断

    提出了一种名为 DermImitFormer 的多任务模型，通过模仿皮肤科医生的诊断程序和策略，解决了现有方法忽略皮肤疾病诊断所需基本领域知识的问题，并同时预测身体部位、皮损属性以及疾病本身，从而提高诊断准确性和可解释性。

    Jul, 2023