ECCVSep, 2022

教导焦点：基于注意力相似度知识蒸馏的低分辨率人脸识别

PDF
TL;DR本文提出了一种注意力相似性知识蒸馏方法，通过将从高分辨率网络得到的注意力地图作为教师传递到低分辨率网络作为学生，从而提高低分辨率图像的识别性能。该方法在各种低分辨率人脸相关基准上的实验证明其通常可以通过简单地传输精心构造的注意力图来改善低分辨率设置下的识别性能，优于现有技术水平。
发现论文，激发创造
  • 通过选择性知识蒸馏实现野外低分辨率人脸识别

    本研究提出了一种使用选择性知识蒸馏学习低分辨率人脸识别的方法，在损失性能的同时实现更高速度和更低内存消耗，通过优化图问题，选择性地从一个复杂的面部模型中提取最具信息量的面部特征来让一个简单的卷积神经网络完成相应识别任务。

    Nov, 2018

  • 一阶段低分辨率文本识别及高分辨率知识迁移

    通过使用新颖的知识蒸馏框架，从高分辨率图像中将知识传递到低分辨率输入，实现了低分辨率文本识别的有效性和效率的显著提升。

    Aug, 2023

  • 注意细节：跨分辨率知识蒸馏

    在数字病理学中，为了解决大型全幻灯片图像的计算限制问题，该研究提出了使用知识蒸馏和注意力图来提高模型性能，实验证明该方法在不同图像分辨率下显著改善了模型性能。

    Jan, 2024

  • 低分辨率人脸识别中的分辨率增强和度量：一个简单但有效的新基线

    研究提出一种新的处理低分辨率人脸识别的框架，其中采用了多分辨率增强和基于对数指数距离函数的度量损失，能够有效克服低分辨率下表现退化的问题，并在多种实验数据集上表现出良好的识别性能。

    Feb, 2023

  • 基于类别注意力转移的知识蒸馏

    提出了一种基于类别注意力传递的知识蒸馏（CAT-KD）方法，该方法不仅具有高解释性，还在多个基准测试中实现了最先进的性能，通过传输课程激活地图，从而提供了关于 CNN 的更好的理解，并改进了 CAT-KD 的解释性。

    Apr, 2023

  • CSAKD: 跨自注意力知识蒸馏用于高光谱和多光谱图像融合

    提出了一种新颖的知识蒸馏框架以实现低分辨率高光谱图像的超分辨率，该框架通过使用交叉层残差聚合模块增强效率，同时从低分辨率高光谱图像和高分辨率多光谱图像中提取联合和独立特征，并采用交叉自注意力融合模块适应性地融合这些特征，以提高重构的高分辨率高光谱图像的空间和光谱质量。

    Jun, 2024

  • 光学遥感图像中基于注意力特征蒸馏的高效目标检测

    提出了一种新的注重注意力的特征蒸馏（AFD）方法，通过从教师检测器中蒸馏本地和全局信息，实现了目标检测模型在资源有限的边缘设备上的高效性能。

    Oct, 2023

  • 稠密物体检测的区域定位蒸馏

    本文提出了一种基于本地化知识蒸馏的方法，在目标检测中通过学习有价值的本地化区域知识和确定哪些区域应该用于蒸馏来提高 AP 得分。这种简单而有效的知识蒸馏技术可以优化深度学习模型的性能。

    Feb, 2021

  • 低分辨率检测的多尺度对齐蒸馏

    使用知识蒸馏技术提高低分辨率模型性能，同时采用对齐多尺度训练方法与特征级融合技术，方法在目标检测任务中表现优异。

    Sep, 2021

  • 多教师渐进蒸馏的轻量级目标检测学习

    对于计算和内存资源有限的感知系统，我们提出了一种简单但非常有效的序列化方法来通过知识蒸馏来提高轻量级分类模型的性能，并成功将基于 Transformer 的教师检测器的知识转化到基于卷积的学生检测器上，从而显著提升了 MS COCO 基准测试上 RetinaNet 和 Mask R-CNN 的性能。

    Aug, 2023