面向数字皮肤病学的可扩展基础模型研究
本研究关注如何在不同皮肤颜色的情况下，训练深度神经网络模型对临床皮肤病例进行分类，发现由 Fitzpatrick 皮肤类型标签进行数据注释所训练的深度神经网络模型对相似肤色的图像分类的准确度更高，并通过对比人工标记的 Fitzpatrick 皮肤类型标签和算法判定的肤色类型来进一步评价该深度神经网络模型。
Apr, 2021
开发了由皮肤科医生密集注释的皮肤病 数据库 SkinCon， 其中包括3230张皮肤病图像， 使用48个临床概念的概念元标签进行注释， 为AI皮肤病模型的错误调试提供了潜在应用。
Feb, 2023
本研究提出了一种名为DermSynth3D的新型框架，它将皮肤病模式与人类主体的 3D 网格相融合，并使用可微分渲染器从不同的摄像机视点在各种背景场景下生成 2D 图像。DermSynth3D可以为各种皮肤病学任务创建自定义数据集，该数据集在训练深度学习模型时表现良好。
May, 2023
通过图像分析开发深度学习模型诊断皮肤病变的激增值得注意，然而它们在临床黑脸挑战方面存在限制：限定的诊断输出数量、对罕见皮肤病变缺乏实际世界测试、无法检测越界图像以及过度依赖显微镜图像。为了解决这些问题，我们提出了一种全能的HOT模型（Hierarchical-Out of Distribution-Clinical Triage），对于临床图像，我们的模型生成三个输出：层次预测、越界图像警报以及在临床图像不足以进行诊断时对显微镜图像的推荐。当进行推荐时，它将同时整合临床和显微镜图像以进行最终诊断。针对代表性的皮肤病变数据集进行的大量实验证明了我们框架内每个组件的有效性和协同作用。我们多功能的模型为病变诊断提供有价值的决策支持，并为医学AI应用设定了一个有前景的先例。
Nov, 2023
通过结合机器学习算法、分类器、分割算法和最新的大型语言模型，本文描述、实现和评估了一种基于人工智能的系统和方法，旨在辅助皮肤病变和其他皮肤状况的诊断过程，并通过综合方法全面解决皮肤病理诊断的问题。该方法整合了大型语言模型、基于变形器的视觉模型和复杂的机器学习工具，通过使用公开可用的皮肤病例和相关图像，通过交叉模型验证技术和自然语言处理工具评估了提出的方法。我们实现的系统在上下文理解和诊断准确性两个方面均获得了约为0.87的加权得分，证明了我们方法的有效性。该方法预期在发展下一代远程皮肤科咨询应用中发挥重要作用，增强远程会诊能力和卫生保健服务的可及性，特别是在服务不足的地区。
Mar, 2024
利用自我监督学习(SSC)训练病理基础模型的应用在过去几年有了显著增长，公开提供了多个在大量临床数据上训练的模型，将极大地增强计算病理学的科研能力、弥合研究与临床应用的鸿沟。本研究提供了一个包含具有临床相关终点的病理学数据集合，其中包括与癌症诊断以及来自两个医疗中心标准医院运营期间生成的各种生物标记物相关的临床切片，利用这些数据集对公开的病理基础模型的性能进行系统评估，并提供培训新的基础模型和选择适当的预训练模型的最佳实践见解。
Jul, 2024
本研究针对皮肤病诊断中不同肤色间的信息差距问题，提出了一种结合迁移学习和领域适应的新方法。通过利用多种来源的预训练模型，并在多样皮肤影像数据集上进行评估，研究显示该方法能够有效提升皮肤疾病预测的准确性和包容性，特别是对暗肤色皮肤病的表现。主要发现是，Med-ViT模型表现最佳，展现了更全面的特征表示能力。
Sep, 2024
本研究旨在解决当前深度学习模型在皮肤病诊断和治疗中面对的复杂多模态需求的不足。我们提出的PanDerm模型，通过在超过200万张真实皮肤病图像上进行自监督学习，展现出在各项临床任务中的卓越表现，尤其在早期黑色素瘤检测和多类别皮肤癌诊断准确性方面均优于临床医生。这一成果不仅提升了皮肤病管理的可能性，还为其他医学领域的多模态基础模型开发提供了借鉴。
Oct, 2024
本研究解决了数字病理学领域模型适应性不足的问题，提出了利用基础模型在大规模领域特定数据集上进行训练的方法。研究发现，基础模型在皮肤癌六个亚型预测方面表现优于使用ImageNet预训练的模型，具有显著的临床应用潜力。
Oct, 2024