distillation strategy | BriefGPT

关键词distillation strategy

搜索结果 - 11

DVMSR：用于高效超分辨率的精简视觉黑曼巴
我们提出了 DVMSR，一种结合了 Vision Mamba 和蒸馏策略的新型轻量级图像超分辨率网络，通过最小化计算复杂度和网络参数来加速超分辨率网络推理，并在保持性能的同时实现了效率改进。
PDF2 months ago
CVPR具有分离的客体性学习和类别识别的持续分割
基于强大的目标性和防遗忘特性，我们提出了 CoMasTRe 方法，它将持续分割任务分为两个阶段，通过学习抗遗忘的目标性特征和经过良好研究的分类特征，采用简单但有效的蒸馏策略来强化目标性，并通过多标签类蒸馏策略减轻旧类别的遗忘，实验证明该方法
PDF4 months ago
教育馏析：让学生模型在学校中学习
本文将动态增量学习引入到知识蒸馏中，提出了一种教育蒸馏的蒸馏策略，通过将学生模型从完整的学生模型分割为低级模型，结合设计的教学参考层，逐渐提升学生模型的年级，并从更多的教师模型中进行学习和蒸馏，使得学生模型的性能逐渐从低级到高级逐阶段提高。
PDF7 months ago
MM基于 CLIP 的场景文本识别的对称语言特征提取
利用对比语言图像预训练（CLIP）模型在场景文本识别（STR）中的潜力，我们建立了一个新的对称语言特征提取框架（称为 CLIP-OCR），以充分利用 CLIP 中的视觉和语言知识。通过将 CLIP 图像编码器与反转的 CLIP 文本编码器级
PDF9 months ago
L3DMC: 基于混合曲率空间的蒸馏式终身学习
提出了一种名为 L3DMC 的蒸馏策略，通过在混合曲率空间上操作，以维持复杂的几何结构来保留已学习的知识，用于 L3 模型的优化和医学图像分类任务。
PDFa year ago
MultiQuant：一种新的任意比特宽度网络量化的多分支拓扑方法
本文提出了一种名为 MultiQuant 的新型量化方法，它利用多支路拓扑结构将网络体重量化为固定的 2 位，从而避免了位宽切换造成的量化误差积累，并引入一种分摊指定激活位宽切换引起的量化误差的分支选择策略和一种提高性能的内部蒸馏策略。实验
PDFa year ago
自我监督轻量级视觉 Transformer 的深入探讨
本文主要通过使用基于掩码图像建模的 MAE pre-training 方法，即 MAE-lite，来为轻量级 ViTs 的 pre-training 提供配方，并与其他 fully-supervised 和 self-supervised
PDF2 years ago
自适应点位知识蒸馏
本研究提出新的知识蒸馏策略 SAKD，通过自适应地确定教师网络中的蒸馏点，进一步改进现有的蒸馏方法，在 10 个最先进的蒸馏器上进行了广泛的实验来证明其有效性。
PDF2 years ago
ECCVFOSTER: 特征增强和压缩用于类增量学习
提出了一种新的双阶段学习范式 FOSTER，通过动态模块扩展和有效的蒸馏策略来解决深度神经网络遗忘问题，实现自适应学习新类别，实验证明该方法在 CIFAR-100 和 ImageNet-100/1000 数据集下达到了最先进的性能。
PDF2 years ago
ICLR实例包聚合增强自监督蒸馏
本文针对基于对比学习的自监督学习因实例量大、收敛速度慢且小模型表现差的问题，提出了一种名为 BINGO 的知识蒸馏策略，通过传递相似样本之间的关系来提高学生模型的性能。实验表明，BINGO 在小型模型上表现出类别最佳的性能，即使用 ResN
PDF3 years ago
ICCVAlways Be Dreaming: 无数据增量学习的新方法
本文介绍了一种新的增量知识蒸馏策略来解决 Data-Free Class-Incremental Learning（DFCIL）的问题，该策略通过修改交叉熵训练和重要性加权特征蒸馏，提高了 DFCIL 的准确率，并在公共课程增量基准测试中表
PDF3 years ago