ECCVAug, 2022

面向轻量级半监督语义分割的多粒度蒸馏方案

PDF
TL;DR提出一种基于多层级知识蒸馏技术的轻量级半监督语义分割模型，采用标注数据和未标注数据的协同蒸馏方案，结合像素级一致性约束、语义感知层次损失和内容感知区域损失等多层次损失策略，从多个角度对模型知识进行精炼，能够在消耗更少的运算资源和更小的模型体积下取得同类模型不可比的性能提升。
semi-supervised semantic segmentationknowledge distillation techniquesmulti-granularity distillationlabeled-unlabeled data cooperative distillationhierarchical and multi-levels loss setting
发现论文，激发创造
  • 面向 GAN 压缩的在线多粒度蒸馏

    本文提出了一种新颖的在线多粒度蒸馏（OMGD）方案，该方案可用于生成低计算需求的轻量级 GAN，从而实现在资源受限设备上进行实时图像转换，并显示 OMGD 在四个基准数据集上的实验结果。

    Aug, 2021

  • 动态子图提炼用于稳健的半监督连续学习

    我们提出了一种名为动态子图蒸馏（DSGD）的新方法，它利用语义和结构信息，实现对无标签数据的稳定知识蒸馏，对分布偏差具有鲁棒性，并在半监督连续学习场景中减轻了灾难性遗忘问题。

    Dec, 2023

  • 掩码生成蒸馏

    本文提出了一种新的知识蒸馏方法 Masked Generative Distillation (MGD)，通过引导学生的特征恢复，使用简单的掩码方式强制学生生成教师的完整特征，应用于图像分类、目标检测等各种任务中均表现良好。

    May, 2022

  • 多尺度超像素结构差异图卷积网络用于 VL 表示

    该论文提出了一种基于预训练模型的多模态语义表示方法，并引入了超像素和多尺度差异图卷积网络来提高视觉语义表达的准确性和精度，从而在多个下游任务学习方面表现出与其他先进方法的竞争力。

    Oct, 2023

  • 弱监督和半监督的三维语义分割的二维特征蒸馏

    通过使用 RGB 图像提供场景的更密集表示，我们提出了一种基于图像引导网络（IGNet）的方法，该方法借鉴了通过域适应合成训练的 2D 语义分割网络中的高级特征信息，进一步利用了一种称为 FOVMix 的新型混合策略以解决两个传感器之间的水平视场不匹配问题，以增强图像引导效果，并在 ScribbleKITTI 上实现了弱监督 LiDAR 语义分割的最先进结果，与全监督训练相比，仅使用 8% 的标记点，无需额外的标注负担或推理中的计算 / 内存成本。此外，我们还展示了我们的方法在半监督训练中的有效性，IGNet 在 ScribbleKITTI 和 SemanticKITTI 上均取得了最先进的结果。

    Nov, 2023

  • 分层密集相关蒸馏用于小样本分割

    本文提出了一种基于 transformer 架构的 Hierarchically Decoupled Matching Network（HDMNet）用于 few-shot 语义分割任务。该网络利用自注意力机制来建立层次化的密集特征并使用匹配模块降低过拟合，引入来自粗分辨率的语义对应的相关性传递，以提高细粒度的分割。在实验中该方法表现良好，在 COCO 数据集上的 1-shot 和 5-shot 分割分别达到了 50.0% 和 56.0% 的 mIoU。

    Mar, 2023

  • 层次化稠密相关蒸馏用于少样本分割 - 报告摘要

    本文提出了基于 Hierarchically Decoupled Matching Network (HDMNet) 的 Few-shot 语义分割方法，使用 transformer 架构、自注意力模块和匹配模块来实现级联匹配和关键像素级别的支持关联，且通过语义对应度实现了从粗糙分辨率到细粒度分割的相关性蒸馏，实验结果表明在 COCO 数据集中的 few-shot 语义分割任务上取得了较好的性能。

    Jun, 2023

  • 基于知识蒸馏的高效医学图像分割

    我们提出了一种高效的网络结构，通过从训练充分的医学图像分割网络中提炼知识来训练另一个轻量级网络，从而使得轻量级网络在保留其运行效率的同时，显著提高了其分割能力。通过使用我们为医学图像分割量身定制的新颖蒸馏模式，从教师网络向学生网络传递语义区域信息，避免了处理医学图像时遇到的模糊边界问题。在我们的实验中，轻量级网络的性能提高了 32.6％，同时在推理阶段保持了可移植性，并在 LiTS17 和 KiTS19 两个公认的公共 CT 数据集上进行了验证。

    Aug, 2021

  • MuGSI：用于图分类的多粒度结构信息压缩 GNN

    构建了一个新的知识蒸馏框架 MuGSI，该框架可以有效地解决图分类中遇到的挑战，并显著提高性能、效率和鲁棒性。

    Jun, 2024

  • 半监督实例分割的引导蒸馏

    通过引入新颖的 “引导燃烧” 阶段的教师 - 学生蒸馏模型以及评估不同的实例分割架构、骨干网络和预训练策略，我们改进了蒸馏方法，并利用未标记数据在引导燃烧阶段中进行了指导，从而显著提高了先前最先进的结果。

    Aug, 2023