Jul, 2024

HDKD: 医学图像分类的混合数据高效知识蒸馏网络

HTML
PDF
TL;DR该论文介绍了一种混合数据高效知识蒸馏 (Hybrid Data-efficient Knowledge Distillation, HDKD) 的范例，该范例通过使用卷积神经网络（CNN）教师和一个混合的学生，克服了既忽略中间特征的丰富语义信息又导致不匹配结构和增加计算开销的限制，并提出了一种高效的轻量级卷积块。广泛的实验显示了HDKD在两个医学公共数据集上的优越性以及其计算效率。
发现论文，激发创造
  • 知识蒸馏和师生学习在视觉智能中的应用：评述与新观点

    本文讨论了知识蒸馏和S-T学习，提供了对知识蒸馏的解释以及该方法的最新进展、技术细节和视觉应用状况的全面调查，并分析了现有方法的潜力和挑战，展望了知识蒸馏和S-T学习的未来方向。

    Apr, 2020

  • 基于知识蒸馏的高效医学图像分割

    我们提出了一种高效的网络结构，通过从训练充分的医学图像分割网络中提炼知识来训练另一个轻量级网络，从而使得轻量级网络在保留其运行效率的同时，显著提高了其分割能力。通过使用我们为医学图像分割量身定制的新颖蒸馏模式，从教师网络向学生网络传递语义区域信息，避免了处理医学图像时遇到的模糊边界问题。在我们的实验中，轻量级网络的性能提高了32.6％，同时在推理阶段保持了可移植性，并在LiTS17和KiTS19两个公认的公共CT数据集上进行了验证。

    Aug, 2021

  • ViT特征知识蒸馏的实用指南

    本文研究Vision Transformer的特征蒸馏方法，并提出ViTKD可以使基于ImageNet数据集的学生模型的准确率分别提升1.64％、1.4％和1.7％。

    Sep, 2022

  • 累积空间知识蒸馏用于视觉Transformers

    该研究提出了Cumulative Spatial Knowledge Distillation (CSKD)方法，它能够在不引入中间特征的情况下，从相应的CNN空间响应中将空间上的知识传递到ViT的所有补丁令牌，并在训练过程中利用Cumulative Knowledge Fusion模块，以更好的利用CNN的局部归纳偏差，在ImageNet-1k和下游数据集上取得了优异的表现。

    Jul, 2023

  • 优秀的学生具备合作和可靠性：CNN-Transformer 语义分割的协同学习

    本文介绍了一种在线知识蒸馏框架，通过选择和交换可靠知识来协同学习基于卷积神经网络（CNN）和视觉变压器（ViT）的模型，以进行语义分割。经过大量实验验证，我们提出的框架在大幅领先于现有的在线蒸馏方法的同时，展示了ViT和CNN模型之间协同学习的有效性。

    Jul, 2023

  • 提炼归纳偏见：超越模型压缩的知识蒸馏

    通过集成式蒸馏方法从轻量级教师模型中蒸馏归纳偏差，我们介绍了一种创新的蒸馏方法，以支持视觉转换和文本领域之间的统一信息处理，提高了学生性能，并减轻了计算负担和提高了效率。

    Sep, 2023

  • 从CNN提炼高效的视觉Transformer用于语义分割

    我们提出了一种CNN到ViT知识蒸馏框架，包括视觉语言特征蒸馏模块(VLFD)和像素级解耦蒸馏模块(PDD)，实验证明我们的方法在三个语义分割基准数据集上的mIoU增量是最先进知识蒸馏方法的200%以上。

    Oct, 2023

  • 从CNN-Transformer模型中提取知识，以增强人类动作识别

    通过知识蒸馏以及结合CNN和ViT模型，本研究旨在改善人体动作识别的性能和效率，从较大的教师模型向较小的学生模型传递知识，并通过引入Transformer视觉网络作为学生模型以及卷积网络作为教师模型，扩展了对局部图像特征和全局特征的关注，进而显著提升了动作识别的准确性和平均精度。

    Nov, 2023

  • 多任务多尺度对比知识蒸馏在高效医学图像分割中的应用

    本研究旨在探究神经网络在医学图像分割任务中的知识迁移可行性，特别关注从大规模多任务的“教师”网络向更小的“学生”网络的迁移。我们通过多尺度特征蒸馏和监督对比学习的结构，通过整合从教师模型获取的知识表示来提高学生模型的性能，并通过大量实验和消融研究评估了多尺度特征蒸馏的影响，以及不同损失对知识迁移的整体性能的影响。

    Jun, 2024

  • 面向边缘端CNN和Vision Transformers的知识蒸馏中的最优权衡

    本研究通过实证评估和分析，为人工智能从业者提供了在边缘设备上最大化知识蒸馏过程有效性的最佳策略。

    Jun, 2024