Jul, 2023

DreamTeacher: 利用深度生成模型进行图像 Backbones 的预训练

PDF
TL;DR本研究提出了一个自我监督特征表示学习框架 DreamTeacher，利用生成网络对下游图像骨干进行预训练。通过将经过训练的生成模型中的知识提取到已经针对特定感知任务进行精心设计的标准图像骨干，我们通过两种类型的知识蒸馏来探索在大型标签数据集（例如 ImageNet）上进行预训练的代替方法。在许多生成模型、密集预测基准和几种预训练方案上进行了大量分析，实证发现 DreamTeacher 在各方面均显著优于现有的自我监督表示学习方法，展示了生成模型和扩散生成模型作为大型和多样数据集上的表示学习的一种有前途的方法，而不需要手动注释。
self-supervised learninggenerative modelsknowledge distillationrepresentation learningimage classification
发现论文，激发创造
  • 从梦到精华：通过 DeepInversion 进行零数据知识转移

    本文介绍了 DeepInversion 方法用于从神经网络中的图像分布合成图像，使用 Adaptive DeepInversion 提高了生成图像的多样性，并应用于三个数据无关任务中，实现了数据无关的网络剪枝、知识迁移和不断学习。

    Dec, 2019

  • DMT：多个自监督教师进行的全面蒸馏

    通过利用多个自监督模型的优势，压缩预训练模型，并在分类任务和密集任务中显著提高性能。

    Dec, 2023

  • 教师不仅仅教授：压缩图像到图像模型

    通过引入教师网络，在搜索空间中查找高效的网络架构并进行知识蒸馏，该方法可以在更小的计算成本下实现类似于原始模型的图像质量，从而可能解决生成对抗网络的计算成本高的问题。

    Mar, 2021

  • 从自监督学习中提取视觉先验

    本文提出一种新的两阶段流程，通过自监督学习和知识蒸馏来提高卷积神经网络模型在小数据集下的图像分类泛化能力，并使用新型边缘损失来更好地学习表示。

    Aug, 2020

  • 代际知识蒸馏：更具宽容性的教师教育更好的学生

    本文从严格性控制角度研究了深度神经网络的教师网络和学生网络的优化问题。通过针对教师网络训练中的宽松性进行优化，使得学生网络在学习过程中更容易获得跨类别相似性信息，从而在 CIFAR100 和 ILSVRC2012 等数据集的图像分类任务中取得更高的分类准确率。

    May, 2018

  • 知识蒸馏与自监督相遇

    本文介绍了一种新的知识蒸馏方法，使用自我监督信号作为辅助任务来提取自预训练教师模型中的丰富知识，并将其成功地传递到学生网络中，从而实现了在各种基准测试下的表现优异。

    Jun, 2020

  • DreamTuner：主题驱动生成仅需一张图片

    DreamTurner 是一种新方法，通过将粗略主题特征逐渐注入到细节中，有效地实现主题驱动的图像生成，其中引入了主题编码器以保留粗略主题特征并使用自主题注意力层来提炼目标主题的细节特征。

    Dec, 2023

  • RePre：利用重构预训练提高自监督视觉 Transformer 的性能

    本文提出了一种基于重构预训练技术 (RePre) 的自监督视觉变压器模型，使用本地特征学习来替代对图像的全局理解，其中重构预训练通过向现有对比性目标添加像素重构分支，使用变压器编码器的多层次特征进行处理，并提供了从低到高语义信息的丰富监督信息；在各种对比学习框架和不同的视觉变换器架构上，该方法带来的转移性能超过了受监督的预训练和最先进的自监督方法。

    Jan, 2022

  • SimReg: 回归方法作为一种简单而有效的自监督知识蒸馏工具

    通过改变神经网络体系结构，特征回归可以超越更复杂的最新方法，实现从自监督模型中提取知识的目的，并在 ImageNet 数据集上得到验证。

    Jan, 2022

  • 利用随机权重的强大生成模型用于深度图像表示

    使用未训练的卷积神经网络，创建新的生成模型，用于图像重建、纹理合成和样式转换等深度可视化任务，并发现了新的深度网络结构表示学习的一些特性和规律。

    Jun, 2016