Jan, 2023

高效低计算自监督视觉模型的简单配方

PDF
TL;DR本文介绍了一种简单的自监督蒸馏技术，可以培训高性能低计算的神经网络，RoB 通过从大型自监督教师模型到小型学生模型的知识蒸馏来实现，适用于许多架构。实验结果表明 RoB 在 ImageNet 数据集上表现良好，且在五个下游转移任务上的表现与监督蒸馏的结果相当或更好。
self-supervised methodsdistillation techniqueneural networksknowledge distillationsemi-supervised capabilities
发现论文，激发创造
  • LowDINO -- 一个低参数的自监督学习模型

    本研究旨在探索设计一种神经网络架构，使小型网络能够采用自监督学习中已显示出成功的大型网络的属性，用于图像分类、分割等所有下游任务。

    May, 2023

  • DisCo: 用蒸馏对比学习订正轻量模型的自监督学习

    本文提出了一种名为 Distilled Contrastive Learning (DisCo) 的方法，通过将主流自监督学习方法中蕴含的最有价值的信息提取出来，然后通过约束学生模型的最终嵌入与教师模型的嵌入保持一致，从而大幅缓解模型规模减小时的性能退化问题，实验结果表明，DisCo 在所有轻型模型上取得了最先进的性能，并且在部署过程中不会引入任何额外的参数。

    Apr, 2021

  • SEED: 自监督蒸馏用于视觉表征

    本文主要介绍一种针对小模型的自监督学习方法 ——SElf-SupErvised Distillation (SEED), 提出将大型网络的知识通过自监督方式传递到小型网络中来提高性能，实验证明 SEED 可显著提升小型网络在下游任务上的表现。

    Jan, 2021

  • Retro: 用于轻量级模型的自监督学习中的高效嵌入蒸馏的教师投影头的重复利用

    使用自监督学习 (SSL) 和对比约束以及一致性约束，从大量无标签数据中提取有效表示，并通过重用教师的投影头来改进轻量级模型，实验证明在所有轻量级模型上取得了显著的改进

    May, 2024

  • 权重复制与低秩适应：视觉 Transformer 的少样本蒸馏

    利用少样本的知识蒸馏方法来提取大规模预训练模型的知识，通过复制视觉变换器的权重并采用改进的低秩适应方法，将知识传输到学生模型中，并通过实证实验验证方法的优越性。

    Apr, 2024

  • 有监督的遮蔽知识蒸馏用于小样本变压器

    本文提出了一种新的有监督掩蔽知识蒸馏模型 (SMKD)，将标签信息融入到自我蒸馏框架中，通过在类和图块标记上进行内部类知识蒸馏，并引入在类内图像中对屏蔽图块标记重构的挑战性任务，我们比以前的自我监督方法实现了更好的结果，实验结果显示，我们的方法在四个 few-shot 分类基准数据集上的性能优于以往方法。

    Mar, 2023

  • 多教师渐进蒸馏的轻量级目标检测学习

    对于计算和内存资源有限的感知系统，我们提出了一种简单但非常有效的序列化方法来通过知识蒸馏来提高轻量级分类模型的性能，并成功将基于 Transformer 的教师检测器的知识转化到基于卷积的学生检测器上，从而显著提升了 MS COCO 基准测试上 RetinaNet 和 Mask R-CNN 的性能。

    Aug, 2023

  • 自我监督轻量级视觉 Transformer 的深入探讨

    本文主要通过使用基于掩码图像建模的 MAE pre-training 方法，即 MAE-lite，来为轻量级 ViTs 的 pre-training 提供配方，并与其他 fully-supervised 和 self-supervised pre-training counterparts 进行对比，分析和表明了这种 pre-training 的影响，揭示了 pre-trained 模型的适当学习的底层在数据充足的下游任务中更为重要的作用，并开发了一个 distillation 策略来提高 pre-trained representations，从而实现更好的性能。

    May, 2022

  • 基于自监督预训练 Vision Transformer 的单目机器人导航

    使用自监督方法预训练的 Vision Transformer，成功地在使用 70 个训练图像的 Duckietown 环境中训练了一个粗略的图像分割模型，其推理分辨率可以调整以平衡预测粒度和实时感知约束，并用作简单而强大的视觉伺服代理的骨干，用于差分驱动移动机器人的车道跟踪和障碍物回避两个任务。

    Mar, 2022

  • 自我监督视觉 Transformer 训练的实证研究

    本文研究的是计算机视觉中的自监督学习，探究了一些基本组件对自监督 ViT 训练的影响，发现稳定性是一个重要的问题，本文通过案例研究表明了部分成果实际上是不完全的失败，并探讨了当前的积极证据、挑战和开放问题。

    Apr, 2021