BriefGPT.xyz
Ask
alpha
关键词
distillation strategies
搜索结果 - 4
观察、分析与解决：通过带掩码图像建模预训练探索强大轻量化视觉 Transformer
通过对轻量级视觉 Transformer（ViTs）的掩码图像建模（MIM）预训练方法与对比学习（CL）预训练方法在不同数据规模下的行为对比研究，观察到了 MIM 预训练在高层学习上的劣质表现以及其对数据不足下游任务的不理想 Fine-tu
→
PDF
3 months ago
CVPR
ECLIPSE：全景分割的高效继续学习与视觉提示调整
通过 Visual Prompt Tuning 方法进行的连续全景分割 (ECLIPSE) 在 ADE20K 连续全景分割基准任务中展示出优势，在遗忘和可塑性方面达到了新的最先进水平。
PDF
3 months ago
EdgeSAM: 基于提示的环路蒸馏技术用于 SAM 的设备内部部署
EdgeSAM 是 Segment Anything Model（SAM）的一种加速变体，经过优化以在边缘设备上高效执行而不牺牲性能。该方法通过将原始的 ViT-based SAM 图像编码器精炼为纯 CNN-based 架构，更适合于边缘
→
PDF
7 months ago
CLIP-KD：CLIP 模型蒸馏的实证研究
通过使用关系、特征、梯度和对比范式等多种蒸馏策略对基于大型教师 CLIP 模型的小型 CLIP 模型进行监督，本研究在零样本 ImageNet 分类和跨模态检索基准上一致提升了学生 CLIP 模型的性能，提供了重要的 CLIP 蒸馏研究基准
→
PDF
a year ago
Prev
Next