利用知识蒸馏实现轻量级皮肤癌分类：平衡准确性与计算效率

Jun, 2024

利用知识蒸馏实现轻量级皮肤癌分类：平衡准确性与计算效率

Leveraging Knowledge Distillation for Lightweight Skin Cancer Classification: Balancing Accuracy and Computational Efficiency

PDF

Niful Islam, Khan Md Hasib, Fahmida Akter Joti, Asif Karim, Sami Azam

TL;DR我们提出基于知识蒸馏的方法来创建一个轻量级且高性能的皮肤癌分类器，通过融合 ResNet152V2、ConvNeXtBase 和 ViT Base 等三个模型来创建一个有效的教师模型，进而进行指导以得到一个大小为 2.03 MB 的轻量级学生模型，通过 16 位量化将其进一步压缩到 469.77 KB，以实现边缘设备的平滑整合，在六个阶段的图像预处理、数据增强以及严谨的消融研究的基础上，在 HAM10000 数据集上取得了 98.75% 的准确率，在 Kaggle 数据集上取得了 98.94% 的准确率，在资源受限的环境中，我们的模型以其高准确率和紧凑的大小成为一个潜在的准确的皮肤癌分类选择。

Abstract

Skin cancer is a major concern to public health, accounting for one-third of the reported cancers. If not detected early, the cancer has the potential for severe consequences. Recognizing the critical need for effective skin cancer classification, we address the limitations of existing models, which are often too large to deploy in areas with limited computa

skin cancer classification knowledge distillation lightweight student model 16-bit quantization resource-constrained settings

发现论文，激发创造

SkinDistilViT：用于皮肤病变分类的轻量级视觉变换器

早期发现可以治疗皮肤癌，我们提出了一种专用于皮肤癌分类问题的解决方案，通过对专家注释的黑色素瘤医学图像训练视觉转换器，实现与人类性能相匹配的识别效果。通过知识蒸馏从教师模型中构建出一个模型，无论是时间还是内存消耗都比教师模型小很多，性能却保持在 98.33% 左右。通过在转换器的每个级别添加分类头，并采用级联蒸馏过程，我们提高了基本模型的平衡多类准确性 2.1%，同时创建了一系列体积不同但性能相当的模型。我们在此 URL 提供代码。

Aug, 2023

基于知识蒸馏的黑色素瘤检测方法

本文探讨了使用知识蒸馏技术，建立少层数且具有更少的可学习参数的模型，以提供更快速且准确的皮肤病变 —— 黑色素瘤的早期检测方法。我们的 DSNet 模型在精确度、召回率和 F1 得分等指标上，在黑色素瘤和非黑色素瘤病变的检测上，始终表现比 EfficientNet-B0 更好。

Oct, 2022

皮肤癌图像分类使用迁移学习技术

应用了五种不同的预先训练的迁移学习方法对恶性和良性阶段的皮肤癌进行二分类检测，实验结果表明 ResNet-50 模型提供了 0.935 的准确率、0.86 的 F1 分数和 0.94 的精确度。

Jun, 2024

卷积神经网络用于皮肤病变诊断

通过人工智能和图像分类技术，将肿瘤性皮肤病变进行分类识别为恶性或良性，以实现早期有效诊断。

May, 2023

基于 VGG16 和 VGG19 的迁移学习模型用于皮肤癌诊断

皮肤癌是世界上最危险和最常见的癌症之一，本文使用深度卷积神经网络和迁移学习方法对皮肤病变进行自动分类，证明了在已有预训练神经网络的基础上的合理设计和应用可以显著提高病变检测的分类准确率。

Apr, 2024

多任务可解释性皮肤病变分类

通过使用多任务少样本学习方法，我们提出了一种适应少量标记数据的多任务少样本学习方法，结合分割网络和分类网络，以实现对皮肤病变的自动分类和检测，提高皮肤癌的早期检测率。

Oct, 2023

基于知识蒸馏的高效医学图像分割

我们提出了一种高效的网络结构，通过从训练充分的医学图像分割网络中提炼知识来训练另一个轻量级网络，从而使得轻量级网络在保留其运行效率的同时，显著提高了其分割能力。通过使用我们为医学图像分割量身定制的新颖蒸馏模式，从教师网络向学生网络传递语义区域信息，避免了处理医学图像时遇到的模糊边界问题。在我们的实验中，轻量级网络的性能提高了 32.6％，同时在推理阶段保持了可移植性，并在 LiTS17 和 KiTS19 两个公认的公共 CT 数据集上进行了验证。

Aug, 2021

基于注意力机制的轻量级模型用于色素性皮损检测

该研究提出了一种轻量级的皮肤病变检测流程，应对类别分布不平衡和一些病变的微妙或非典型表现的挑战。该流程基于一种轻量级模型，利用幽灵特征和 DFC 注意力机制减少计算复杂性同时保持高性能。通过合成少数类过采样技术和各种图像增强技术来解决数据集中的类别不平衡问题。模型还采用基于知识的损失加权技术，在类别级别和实例级别对损失函数赋予不同的权重，以帮助模型关注少数类别和具有挑战性的样本。该模型在检测和分类不同的皮肤病变方面取得了 92.4% 的准确率，84.2% 的精确度，86.9% 的召回率和 85.4% 的 F1 得分，尤其在识别良性角化病样病变（BKL）和痣（NV）方面表现出色。尽管具有卓越的性能，但该模型的计算成本远低于一些准确度较低的模型，使其成为实际应用中准确度和效率都至关重要的最佳解决方案。

Aug, 2023

基于深度卷积神经网络组合的皮肤病变检测

论文提出了一种深度卷积神经网络的组合方法，用于将皮肤镜图像分类为三类，该方法结合了四种不同神经结构的输出，以达到最高分类精度，并优于单个神经网络。

May, 2017

基于视觉变换器的皮肤癌分割与分类，用于皮肤镜非侵入式数字系统的自动分析

这篇研究论文介绍了一种开创性的方法来进行皮肤癌分类，采用了视觉转换器作为深度学习架构，在精细标注的皮肤病变图像数据集上进行预处理和训练，通过自注意机制捕捉复杂的空间依赖关系，取得优于传统深度学习架构的卓越性能，特别是 Google 基于 ViT patch-32 变体，达到 96.15% 的准确率，为皮肤科医生在皮肤癌诊断中提供了潜力巨大的有效工具。

Jan, 2024