Oct, 2023

骨干之争：跨计算机视觉任务对预训练模型的大规模比较

PDF
TL;DR基于神经网络的计算机视觉系统通常建立在一个预训练或随机初始化的特征提取器 —— 骨干模型上。骨干模型使用不同的算法和数据集进行预训练，对于从分类到目标检测到 OOD 泛化等各种计算机视觉任务，进行多样的预训练模型基准测试 。研究表明，在相同架构和相似大小的预训练数据集上，自我监督学习骨干模型具有很高的竞争力，未来的工作应使用先进的架构和更大的预训练数据集进行自我监督学习预训练。
neural networkcomputer visionbackbonespretrained modelsbenchmarking
发现论文，激发创造
  • 选择何种骨干网络：面向计算机视觉的资源高效领域比较

    该研究评估了多个轻量级、预训练的 CNN 骨干网络在各种不同数据集上的性能，包括自然图像、医学图像、星系图像和遥感图像，并提供了关于计算机视觉领域不同骨干网络性能和有效性的可行见解，为模型选择提供指导。

    Jun, 2024

  • 预训练骨干网络对息肉分割的普适性

    探索了预训练骨干网络在自我监督方式下对息肉分割性能的影响，发现使用 ViT-B 骨干网络的模型通常比使用 ResNet50 骨干网络的模型表现更好。研究结果表明，在考虑泛化能力时，ResNet50 骨干网络的模型通常表现更好，尽管在用于微调的相同数据集的测试集中，ViT-B 骨干网络的模型表现更好。

    May, 2024

  • 冻结骨干网络：一种参数高效的对比学习方法用于稳健的医疗视觉 - 语言预训练

    现代医疗常常使用放射影像和文字报告进行诊断，鼓励使用大型预训练模型进行视觉 - 语言自监督学习 (VL-SSL) 以学习多功能的医学视觉表示。然而，大部分现有的 VL-SSL 框架都是端到端训练的，计算成本高，并且可能丢失预训练编码器中嵌入的重要先验信息。为了解决这两个问题，我们引入了适用于任意骨干网络的 Adaptor 框架，通过保持预训练的图像和文本编码器的冻结状态，并采用轻量级的 Adaptor 模块进行跨模态学习来保留医学知识。在三个数据集上进行的医学图像分类和分割任务实验表明，与当前的预训练方法相比，我们的框架在保持可训练参数减少 90% 以上的同时，具有竞争性的性能。值得注意的是，仅使用 1% 的数据进行微调时，Adaptor 在医学图像分割方面胜过了针对完整数据集训练的几种基于 Transformer 的方法。

    Jan, 2024

  • 简单即是美：通过预训练骨干网络实现即插即用的迭代学习

    通过利用预训练模型的能力，我们提出了一个基于基线（即拿来即用）的解决方案，以持续学习计算机视觉问题，并设计了一种简单的方法，在大多数常见基准测试中实现强大性能。

    May, 2022

  • RRR-Net：重用、减少和循环利用深度骨干网络

    从一种大型的 ResNet152 骨干网络开始，本文通过将其从 51 个块降至 5 个块，将参数和 FLOPs 的数量降低了 6 倍以上，同时保留了性能，然后在 3 个块之后将模型分割为多个分支，创建一个子网络组合以提高性能。在 40 个图像分类数据集上的实验证明，本文的技术在与 “经典骨干微调” 相当甚至更好的性能的同时，实现了更小的模型尺寸和更快的推理速度。

    Oct, 2023

  • 高效低计算自监督视觉模型的简单配方

    本文介绍了一种简单的自监督蒸馏技术，可以培训高性能低计算的神经网络，RoB 通过从大型自监督教师模型到小型学生模型的知识蒸馏来实现，适用于许多架构。实验结果表明 RoB 在 ImageNet 数据集上表现良好，且在五个下游转移任务上的表现与监督蒸馏的结果相当或更好。

    Jan, 2023

  • TAB: 工业检测任务的文本对齐异常骨干模型

    近年来，对工业检测任务中的异常检测和定位的关注加强。本文利用视觉语言 CLIP 模型提出了一种新的框架来训练适用于制造领域的骨干模型，同时考虑了正常和异常条件的视觉和文本对齐嵌入空间。所得到的预训练骨干模型显著提高了工业下游任务的性能，尤其是在异常检测和定位方面。此外，使用我们的预训练骨干模型权重使先前的工作在少量训练数据的少样本情况下实现了更优异的性能。该提出的异常骨干模型为更精确的异常检测和定位提供了基础模型。

    Dec, 2023

  • 具有批量归一化的 ImageNet 预训练模型

    介绍了基于 ImageNet 预训练的卷积神经网络（CNNs）在最先进的方法中的应用，提出了一组新的基于 Caffe 框架的著名最新结构的预训练模型，并且包括 ResNets、AlexNet 和 VGG19 的批归一化变体等模型，优于以前的具有相同架构的模型。

    Dec, 2016

  • CBNet: 一种用于目标检测的复合主干网络架构

    本文提出 CBNetV2，一个新颖灵活的骨干网络框架，通过在现有开源预训练骨干网络的预训练微调范式下构建高性能检测器，实现多个相同骨干网络的组合、高级别和低级别特征融合及逐渐扩展感受野以更高效地执行目标检测。本文提出的训练策略为 CBNet 检测器提供了更好的辅助监督，在不额外预训练复合骨干的情况下，CBNetV2 可用于各种骨干网络（基于 CNN 还是基于 Transformer）和大多数主流检测器的 head designs（单阶段 vs. 两阶段、锚点基 vs. 无锚点基）。实验结果表明，与简单地增加网络深度和宽度相比，CBNetV2 引入了一种更高效、有效且资源友好的方法来构建高性能骨干网络。尤其是，我们的 Dual-Swin-L 在单模型和单尺度测试协议下在 COCO test-dev 上实现了 59.4％的 box AP 和 51.6％的 mask AP，比 Swin-L 达到的最新成果（57.7％的 box AP 和 50.2％的 mask AP）显著更好，同时训练时间表被缩短了 6 倍。通过多尺度测试，我们将当前最佳单模型结果推向了 60.1％的 box AP 和 52.3％的 mask AP，而无需使用额外的训练数据。

    Jul, 2021

  • 不同骨干网络架构对自动驾驶车辆数据集的影响

    本研究评估了三个著名的自动驾驶数据集，即 KITTI、NuScenes 和 BDD，以比较不同骨干架构在目标检测任务中的性能。

    Sep, 2023