通过图像分析开发深度学习模型诊断皮肤病变的激增值得注意，然而它们在临床黑脸挑战方面存在限制：限定的诊断输出数量、对罕见皮肤病变缺乏实际世界测试、无法检测越界图像以及过度依赖显微镜图像。为了解决这些问题，我们提出了一种全能的 HOT 模型（Hierarchical-Out of Distribution-Clinical Triage），对于临床图像，我们的模型生成三个输出：层次预测、越界图像警报以及在临床图像不足以进行诊断时对显微镜图像的推荐。当进行推荐时，它将同时整合临床和显微镜图像以进行最终诊断。针对代表性的皮肤病变数据集进行的大量实验证明了我们框架内每个组件的有效性和协同作用。我们多功能的模型为病变诊断提供有价值的决策支持，并为医学 AI 应用设定了一个有前景的先例。

Nov, 2023

提出了一种名为 DermImitFormer 的多任务模型，通过模仿皮肤科医生的诊断程序和策略，解决了现有方法忽略皮肤疾病诊断所需基本领域知识的问题，并同时预测身体部位、皮损属性以及疾病本身，从而提高诊断准确性和可解释性。

Jul, 2023

本研究利用 transformer-based 架构实现了单阶段多模态数据融合，并在图像与病患数据丰富的环境下击败了其他单模态和多模态深度学习架构，同时，所选架构还提供了本地可解释性支持。

Apr, 2023

本研究提出了一种弱监督学习方法，通过使用 MEDIQA-M3G 图像的 VGG16-CNN-SVM 模型，并通过多模态融合将视觉和文本信息联系起来，解决了传统方法在开放式医疗问答中的局限性，进一步促进了医学问答研究的发展，为临床决策支持系统的构建提供了新的思路，进而提高了医疗保健的服务水平。

Apr, 2024

通过整合智能手机拍摄的图像与临床和人口统计信息，将多模态方法引入皮肤病变分类的诊断过程中，通过辅助任务的超分辨率图像预测组成，提高特征提取和类别区分的能力，并展示了在资源匮乏的医疗环境中应用此方法的有效性。

Feb, 2024

本文介绍了一种基于视觉和大型语言模型的皮肤科诊断系统 SkinGPT，可以自动诊断皮肤病的特征和类别，并提供治疗建议，实现了本地部署和用户隐私保护。

Apr, 2023

该研究介绍了一种在皮肤科中应用最先进的深度学习技术进行头发和头皮疾病检测的创新方法，为无创和高效的早期检测和诊断提供了重要进展，通过整合机器学习算法到基于 Django 框架的网络平台，为医疗服务提供者和患者带来有力支持。

Mar, 2024

提出了一种基于大型语言模型的自动化文章分类方法，主要关注眼科领域，但可扩展到其他领域，采用自然语言处理技术，包括零 - shot 学习的 LLM 模型，通过比较不同变种的 BART，BERT 以及其变种（如 distilBERT，SciBERT，PubmedBERT，BioBERT），证明了 LLM 在无人干预的情况下，对大量眼科论文进行分类的有效性，通过趋势分析使得研究人员和临床医生能够轻松分类和检索相关论文，在文献综述、信息收集、以及不同学科领域内新兴科学趋势识别方面节省时间和精力，同时，该模型在其他科学领域的可扩展性也拓宽了其在促进研究和趋势分析方面的影响。

Aug, 2023

基于视觉语言模型的嵌入学习策略可以在皮肤病诊断中减少对大量概念标注样本的依赖，提高准确性，并且比自动生成概念的特定方法所需的概念标注样本数量更少。

Nov, 2023

通过最大化不同视角下的镜检和临床图像之间的相似性，聚类分析生成模拟的伪多标签以及利用标签关系来改善多模态皮肤病变分类的自监督学习算法比其他现有自监督学习算法在七点皮肤病变数据集上获得了更好的性能。

Oct, 2023