图像分类中预训练模型特征提取评估

Oct, 2023

图像分类中预训练模型特征提取评估

An evaluation of pre-trained models for feature extraction in image classification

Erick da Silva Puls, Matheus V. Todescato, Joel L. Carbonera

TL;DR比较了不同的预训练神经网络在图像分类任务中的特征提取性能，结果表明 CLIP-ViT-B 和 ViT-H-14 模型在多个数据集上取得了最好的表现，CLIP-ResNet50 模型表现类似但变异性较小。因此，我们的研究证明了在图像分类任务中选择模型进行特征提取的合理性。

Abstract

In recent years, we have witnessed a considerable increase in performance in image classification tasks. This performance improvement is mainly due to the adoption of deep learning techniques. Generally,

image classification deep learning techniques transfer learning strategies pre-trained neural networks feature extraction

发现论文，激发创造

ImageNet 模型的表现是否与迁移学习相关？

比较了 16 种分类网络在 12 个图像分类数据集上的性能表现，发现在使用网络作为固定特征提取器或微调时，ImageNet 准确度与转移学习准确度之间存在强烈的相关性，但是在微调时，ImageNet 的泛化能力较弱，获得了更差的特征。

May, 2018

纹理分析中视觉 Transformer 特征提取的比较调查

该研究采用 21 个不同的预训练 Vision Transformer 架构，评估其在纹理识别中的性能，并与卷积神经网络和手工设计模型进行比较。结果显示，Vision Transformers 在纹理识别方面通常优于卷积神经网络和手工设计模型，尤其在使用更强的预训练和处理来自互联网的纹理任务时表现突出。其中，ViT-B with DINO pre-training，BeiTv2，Swin architecture 以及 EfficientFormer 被认为是更具潜力的模型。此外，尽管 GFLOPs 和参数数量较高，ViT-B 和 BeiT (v2) 在 GPU 上的特征提取时间比 ResNet50 更短，从而实现了更高的效率。

Jun, 2024

ImageNet 模型选择对领域自适应的影响

本文研究了来自十六个不同的预训练 ImageNet 模型的特征对于迁移学习领域适应问题的影响，并找到了最佳的特征提取层，实验表明，精度较高的 ImageNet 模型产生的特征能够更好地适应领域迁移问题并取得更高的精度，其表现超过了三个基准数据集中的最优算法。

Feb, 2020

深度神经网络数字病理学多任务预训练

本研究中，我们探讨了多任务学习作为预训练模型用于数字病理分类任务的方法，通过构建 22 个分类任务和近 900k 图像的资源池并使用简单结构和训练策略创建了可转移模型，并提出了一个稳健的模型选优协议，根据目标任务，我们展示了使用我们模型作为特征提取器时，其性能要么显著优于 ImageNet 预训练模型，要么提供相当的性能。Fine-tuning 技术可以恢复 ImageNet 特征的泛化性不足，提高性能。

May, 2020

DINOv2: 无监督学习强韧可靠的视觉特征

本文提出了一种基于预训练和自监督方法的计算机视觉模型，该模型使用大量的数据自动构建一种多样的图像数据集，能够在各种任务和图像的情况下快速、高效地生成功能强大的视觉特征。

Apr, 2023

Few-shot 图像分类：使用预训练特征提取器库和简单分类器

本研究探讨使用预训练特征提取器的集成方法来解决跨域少样本图像分类问题，实验结果表明这种简单且高效的方法在多个少样本任务上都能胜过复杂的元学习算法。

Jan, 2021

自然领域基础模型在医学图像分类中是否有用？

通过对五种先进的基础模型（SAM、SEEM、DINOv2、BLIP 和 OpenCLIP）在医学图像分类任务中的可转移性进行评估，我们的研究显示了混合的结果。尽管 DINOv2 在不断超越 ImageNet 预训练的标准实践方面表现出色，但其他基础模型未能始终超越此已建立的基线，这表明它们在医学图像分类任务中的可转移性存在限制。

Oct, 2023

医学图像分析的迁移学习系统基准测试分析

通过对比自然图像与医学图像，本论文通过大规模评估了不同图像预训练模型在医学图像分析领域的可迁移性，提出了将自然图像模型迁移到医学图像中的实用方法，并发现新的关键性能：针对医学分割任务 fine-grained 数据预训练模型具有独特的局部特征表示，自我监督的 ImageNet 模型比有监督的 ImageNet 更有效地学习整体特征，连续预训练可以缩小自然图像与医学图像领域之间的跨度，有望引导深度学习在医学图像领域的未来研究。

Aug, 2021

目标检测预训练分析

文章分析了卷积神经网络在物体检测任务上的预训练方法对小规模数据集的图像分类、语义分割和物体检测等任务的影响，并得出了四个关键结论。

Apr, 2019

ConvNet 与 Transformer，监督学习与 CLIP：超越 ImageNet 准确度

针对计算机视觉中模型选择的挑战性，本研究通过对比分析不同模型关于 ImageNet 准确性以外的行为表现，揭示了模型在误差类型、输出校准、迁移性和特征不变性等方面的多样性特征，强调在选择不同模型时需进行更细致的分析。

Nov, 2023