DermSynth3D:野外标注皮肤科图像的合成
本研究使用生成式对抗网络(GAN)创建临床图像合成,提出了适应于特定皮肤病状的DermGAN,并使用合成图像作为数据增强技术,提高了皮肤病分类器的性能。
Nov, 2019
本文提出了基于深度学习和皮肤照明成像物理的深度语义分割框架,该方法结合了RGB图像和从不同光谱颜色的照明不变的灰度图像、阴影衰减图像等不同信息,应用于三个数据集并取得了12.02%、4.30%和8.86%的平均Jaccard Index提升。
Mar, 2020
开发了由皮肤科医生密集注释的皮肤病 数据库 SkinCon, 其中包括3230张皮肤病图像, 使用48个临床概念的概念元标签进行注释, 为AI皮肤病模型的错误调试提供了潜在应用。
Feb, 2023
本文介绍了一种基于视觉和大型语言模型的皮肤科诊断系统 SkinGPT,可以自动诊断皮肤病的特征和类别,并提供治疗建议,实现了本地部署和用户隐私保护。
Apr, 2023
通过图像分析开发深度学习模型诊断皮肤病变的激增值得注意,然而它们在临床黑脸挑战方面存在限制:限定的诊断输出数量、对罕见皮肤病变缺乏实际世界测试、无法检测越界图像以及过度依赖显微镜图像。为了解决这些问题,我们提出了一种全能的HOT模型(Hierarchical-Out of Distribution-Clinical Triage),对于临床图像,我们的模型生成三个输出:层次预测、越界图像警报以及在临床图像不足以进行诊断时对显微镜图像的推荐。当进行推荐时,它将同时整合临床和显微镜图像以进行最终诊断。针对代表性的皮肤病变数据集进行的大量实验证明了我们框架内每个组件的有效性和协同作用。我们多功能的模型为病变诊断提供有价值的决策支持,并为医学AI应用设定了一个有前景的先例。
Nov, 2023
研究探讨了通过稳定扩散模型生成的皮肤镜合成数据的利用,作为增强机器学习模型训练鲁棒性的策略。实验结果表明,通过稳定扩散模型生成的合成数据有助于提高卷积神经网络和视觉转换器模型的鲁棒性和适应性,对于两个不同的真实世界皮肤病变数据集,其效果显著。
Jan, 2024
通过扩展视觉语言模型技术,本文提出了一种名为SkinGEN的诊断生成框架,通过使用稳定扩散 (SD) 方法从视觉语言模型的诊断结果生成参考演示,从而增强用户的视觉可解释性。实验证明,SkinGEN显著改善了用户对视觉语言模型预测的理解,增加了对诊断过程的信任,为更加透明和用户中心的视觉语言模型应用在皮肤科学及其他领域铺平了道路。
Apr, 2024
本研究解决了皮肤病学诊断中高质量注释数据集不足的问题,提出了一种创新的无监督增强解决方案,利用生成对抗网络(GAN)模型在潜在空间中生成皮肤镜图像的语义变体。通过合成图像增加训练数据,我们提高了机器学习模型的性能,并在HAM10000数据集中设定了新的基准,验证了我们方案的有效性和模型可解释性。
Oct, 2024
本研究旨在解决当前深度学习模型在皮肤病诊断和治疗中面对的复杂多模态需求的不足。我们提出的PanDerm模型,通过在超过200万张真实皮肤病图像上进行自监督学习,展现出在各项临床任务中的卓越表现,尤其在早期黑色素瘤检测和多类别皮肤癌诊断准确性方面均优于临床医生。这一成果不仅提升了皮肤病管理的可能性,还为其他医学领域的多模态基础模型开发提供了借鉴。
Oct, 2024