多标签皮肤病变分类的自监督多模态学习
通过整合智能手机拍摄的图像与临床和人口统计信息,将多模态方法引入皮肤病变分类的诊断过程中,通过辅助任务的超分辨率图像预测组成,提高特征提取和类别区分的能力,并展示了在资源匮乏的医疗环境中应用此方法的有效性。
Feb, 2024
本文提出了一种基于图卷积网络和集成学习的方法,用于皮肤病变分析中的多模态数据的多标签分类,该方法可以成功地利用先前的共现关系,可在不同数据集上提高分类性能并取得最新成果。
Jul, 2023
本文介绍一种基于半监督学习的皮肤病病变分割新方法,通过标记和未标记数据的加权结合优化神经网络,通过不同正则化方法提高像素级预测效果,实现对少量标记数据进行高效训练,并在 ISIC 2017 皮肤病病变分割竞赛中取得 2000 个标记数据以下更好的性能。
Aug, 2018
通过使用多任务少样本学习方法,我们提出了一种适应少量标记数据的多任务少样本学习方法,结合分割网络和分类网络,以实现对皮肤病变的自动分类和检测,提高皮肤癌的早期检测率。
Oct, 2023
我们提出了一种多模态方法,通过单一网络高效地整合多尺度临床和皮肤镜特征,从而大幅减少模型参数。该方法包括三种新颖的融合方案,通过共享编码器参数并保留各自的模态专属分类器、使用共享的交叉注意力模块多层次地互动两种模态、以及通过引入偏置损失将皮肤镜信息优先于临床信息,隐式地学习更好的联合特征表示。在一个公认的关键点核查表(SPC)数据集和一个采集的数据集上进行的大量实验证明了我们方法在 CNN 和 Transformer 结构上的有效性。此外,与目前先进的方法相比,我们的方法在准确性和模型参数方面都表现出优势。
Mar, 2024
本研究利用 transformer-based 架构实现了单阶段多模态数据融合,并在图像与病患数据丰富的环境下击败了其他单模态和多模态深度学习架构,同时,所选架构还提供了本地可解释性支持。
Apr, 2023
本研究提出了一种基于全卷积神经网络的方法,将临床显微镜图像中的皮肤病变区域分割出来,利用该方法可以有效地探讨临床皮肤显微镜特征识别问题,并在 ISIC-ISBI Part 2 比赛中取得了显著的优异表现。
Mar, 2017
提出一种基于已知类别知识自动发现皮肤镜图像数据集中新语义类别的新颖类别发现框架,借助对已知类别知识的学习,采用对比学习和多视角交叉伪监督策略来建立特征表示,并通过众包和本地样本相似性聚合来改进模型的聚类性能。在 ISIC 2019 皮肤科数据集上进行广泛实验,结果表明,该方法能够有效利用已知类别知识发现新的语义类别。
Sep, 2023
使用深度多任务学习(MTL)框架,结合图片的身体部位信息和 ImageNet 预训练模型,实现皮肤病变分类和身体部位分类的联合优化,结果表明该方法比独立单任务表现更为鲁棒。
Dec, 2018
本文介绍了一种基于对抗训练和迁移学习的皮肤病变图像自动分类的两阶段框架。通过学习数据分布的内类别映射和利用图像翻译技术,我们能够在缺乏表征病变的样本中生成人工制造的少数不平衡训练样本。实验证明,所提出的方法优于几种标准的基线方法,并具备能够达到皮肤科医师专家水平的基于上下文的病变评估方法。
Apr, 2020