Jun, 2023

BPKD：针对语义分割的边界特权知识蒸馏

PDF
TL;DR本文提出了一种基于边界优先的知识蒸馏（BPKD）方法，该方法将教师模型的身体和边缘的知识与紧凑的学生模型分别蒸馏，并利用两个不同的损失函数：1）边缘损失，在边缘区域的像素级别上区分模糊类别；2）主体损失，利用形状约束和选择性注意内部语义区域中的主体部分。通过在三个流行的基准数据集上进行的实验证明，BPKD 提供了广泛的边缘和主体区域的改进和聚合，并在语义分割方面实现了最先进的蒸馏性能，突显了其有效性和泛化能力。BPKD 在各种轻量级语义分割结构上都有一致的提升，并提供了代码。
knowledge distillationsemantic segmentationedge regionscompact networksbpkd
发现论文，激发创造
  • I2CKD：用于语义分割的课内和课间知识蒸馏

    这篇论文提出了一种针对图像语义分割的新型知识蒸馏方法，称为 Intra- and Inter-Class Knowledge Distillation（I2CKD）。该方法的重点是捕捉和转移教师（笨重模型）和学生（紧凑模型）的中间层之间的知识。为了进行知识提取，我们利用特征图生成了类原型。为了促进知识传递，我们采用三元损失来最小化教师和学生原型之间的类内方差，最大化类间方差。因此，I2CKD 能够使学生更好地模拟教师每个类的特征表示，从而提高紧凑网络的分割性能。使用各种教师 - 学生网络对 Cityscapes、Pascal VOC 和 CamVid 三个分割数据集进行广泛实验，证明了所提方法的有效性。

    Mar, 2024

  • 通道级知识蒸馏用于密集预测

    利用 KL 散度和频道 - wise 蒸馏进行语义分割，以更小的计算成本，优于目前所有已知的空间蒸馏方法，可视为有效的知识提取方法。

    Nov, 2020

  • 走向语义图像分割中的可比较知识蒸馏

    知识蒸馏可解决语义分割中的大型模型和慢速推理问题。研究中鉴定了 14 篇发表于近 4 年的 25 种蒸馏损失项。通过对 2022 年两篇论文的比较，揭示了超参数选择不当导致学生模型性能极端差异的问题。为了提高该领域的未来研究可比性，建立了三个数据集和两种学生模型的坚实基线，并提供了大量有关超参数调整的信息。在 ADE20K 数据集上，发现只有两种技术能与我们简单的基线相竞争。

    Sep, 2023

  • 边界与关系精馏在语义分割中的应用

    通过知识蒸馏将较大的教师模型的知识传递给小型学生模型，我们提出了一种面向语义分割的有针对性的边界和关系蒸馏策略，以解决小型模型在保持边界区域完整性和保持目标区域连通性方面的错误，并在多个数据集上验证了该方法的优越性。

    Jan, 2024

  • FreeKD: 语义频率提示下的知识蒸馏

    使用频率领域的知识蒸馏方法进行密集预测任务时，Frequency Knowledge Distillation（FreeKD）在吸收语义频率上下文、定位像素兴趣点和提供高阶空间增强等方面取得了比基于空间的蒸馏方法更好的效果。

    Nov, 2023

  • 语义校准的跨层蒸馏

    本文提出了 Semantic Calibration for cross-layer Knowledge Distillation (SemCKD) 方法，使用 Attention 机制自动分配适当的目标层，对学生模型进行知识蒸馏，以提高泛化能力。

    Dec, 2020

  • 基于知识蒸馏的高效医学图像分割

    我们提出了一种高效的网络结构，通过从训练充分的医学图像分割网络中提炼知识来训练另一个轻量级网络，从而使得轻量级网络在保留其运行效率的同时，显著提高了其分割能力。通过使用我们为医学图像分割量身定制的新颖蒸馏模式，从教师网络向学生网络传递语义区域信息，避免了处理医学图像时遇到的模糊边界问题。在我们的实验中，轻量级网络的性能提高了 32.6％，同时在推理阶段保持了可移植性，并在 LiTS17 和 KiTS19 两个公认的公共 CT 数据集上进行了验证。

    Aug, 2021

  • 轻量级点云分析的双向知识重组

    轻量级点云模型中，为了解决语义差距问题，提出了双向知识重构来蒸馏教师模型中的上下文信息和全局形状知识，同时使用基于最优运输的特征移动距离损失来解决特征对齐问题，实验结果表明该方法的普适性和优越性。

    Oct, 2023

  • 跨图像关系知识蒸馏用于语义分割

    本文提出了一种跨图像关系知识蒸馏方法，通过结构化像素之间和区域之间的关系来提高学生模型的分割性能。在 Cityscapes，CamVid 和 Pascal VOC 数据集上的实验结果表明，该方法比现有的蒸馏方法效果更好。

    Apr, 2022

  • 强化轻量级裂纹分割模型性能的鲁棒特征知识蒸馏

    该论文开发了一种名为鲁棒特征知识蒸馏（RFKD）的框架，通过从教师模型的逻辑层和中间特征图中提取知识，并利用混合的清晰和噪声图像将稳定的模式传递给学生模型，提高其精度、泛化性能和抗噪声性能，从而改善轻型裂缝分割模型的鲁棒性。验证结果表明，在噪声图像上，RFKD 相比于最先进的知识蒸馏方法在平均 Dice 分数上提高了 62%。

    Apr, 2024