Jan, 2024

HiCD: 基于分层相关蒸馏的质量变化图像变化检测

PDF
TL;DR应对图像品质差异带来的挑战，我们引入了一种基于知识蒸馏的创新训练策略，以高质量图像对获取的任务知识指导处理品质不同的图像对的学习过程。此外，我们开发了一种层次相关性蒸馏方法，通过复制教师模型中固有的相关性，而不仅仅关注个体特征，来确保有效地传递知识并保持学生模型的训练灵活性。
发现论文，激发创造
  • DiffUCD: 基于语义相关扩散模型的非监督高光谱图像变化检测

    本文介绍了一种基于扩散模型的远程感知高光谱图像变化检测方法，结合语义相关性扩散模型和交叉时序对比学习机制，利用丰富的未标定样本获得不变的光谱差异特征在三个数据集上的实验表明，该方法在准确性、kappa 系数和 F1 值等方面都优于最先进的无监督方法，同时可以跟需要大量注释样本的全监督方法达成可比较的结果。

    May, 2023

  • G-DetKD: 通过对比和语义引导特征模仿实现物体检测器的通用蒸馏框架

    研究如何应用知识蒸馏策略到目标检测中，同时提出了一种适用于同质和异质教师 - 学生的有效框架。通过提出一种新的语义引导特征模仿技术，以及引入对比蒸馏来有效地捕捉不同区域的信息编码关系，我们的方法在多个检测基准上持续优于现有的检测 KD 技术。

    Aug, 2021

  • 走向语义图像分割中的可比较知识蒸馏

    知识蒸馏可解决语义分割中的大型模型和慢速推理问题。研究中鉴定了 14 篇发表于近 4 年的 25 种蒸馏损失项。通过对 2022 年两篇论文的比较，揭示了超参数选择不当导致学生模型性能极端差异的问题。为了提高该领域的未来研究可比性，建立了三个数据集和两种学生模型的坚实基线，并提供了大量有关超参数调整的信息。在 ADE20K 数据集上，发现只有两种技术能与我们简单的基线相竞争。

    Sep, 2023

  • 蒸馏技术提高低质量查询的视觉位置识别

    通过改进深度学习方法，使用高质量的查询图像为在线计算的视觉定位提供更好的特征表示，从而提高低质量查询图像的视觉定位性能。

    Oct, 2023

  • 使用相关距离和网络修剪强化的鲁棒性知识蒸馏

    我们提出了一种利用关联距离和网络修剪的强化稳健知识蒸馏（R2KD）方法，能够有效结合数据增强以提高模型的性能。在各种数据集上进行了广泛的实验，包括 CIFAR-100、FGVR、TinyImagenet 和 ImageNet，这些实验证明了我们的方法优于当前最先进的方法。

    Nov, 2023

  • 基于知识蒸馏的内容相关参考图像质量评估

    本文提出了一种基于知识蒸馏的内容变异参考方法（CVRKD-IQA），通过使用不对齐的高质量图像引入各种先验分布，并通过知识蒸馏从全参照教师向 NAR 学生传输更多的高质量 - 低质量分布差异信息，从而实现更好的图像质量评估。

    Feb, 2022

  • 跨域相关性蒸馏：用于夜晚语义分割的无监督域自适应

    本研究提出了一项通过交叉域相关性蒸馏的新颖域适应框架，称为 CCDistill，旨在充分利用两个图像之间的不变性，从而弥补夜间图像标签缺乏的不足，并实现了夜间语义分割的最先进性能。

    May, 2022

  • 探索通道间相互关系以保留多样性的知识蒸馏

    本文提出了一种新颖的基于交互通道相关性的知识蒸馏方法，Inter-Channel Correlation for Knowledge Distillation (ICKD)，旨在解决先前方法忽略了保留特征的通道间相关性的问题。在 ImageNet 分类和 Pascal VOC 分割任务中，我们的方法优于现有方法并取得了最好的效果，成为目前知识蒸馏领域最前沿的技术之一。

    Feb, 2022

  • 跨图像关系知识蒸馏用于语义分割

    本文提出了一种跨图像关系知识蒸馏方法，通过结构化像素之间和区域之间的关系来提高学生模型的分割性能。在 Cityscapes，CamVid 和 Pascal VOC 数据集上的实验结果表明，该方法比现有的蒸馏方法效果更好。

    Apr, 2022

  • 通过皮尔逊相关系数的通用蒸馏框架用于目标检测

    本研究提出一种新的知识蒸馏方法，即通过皮尔逊相关系数来模拟特征之间的相互关系，以放松特征大小的限制，从而有效地在目标检测中训练异构模型，并在 COCO2017 数据集上分别与 RetinaNet 和 FCOS 基线相比，分别获得 4.1％和 4.8％的 mAP 提高。

    Jul, 2022