预训练检测器的高效可迁移性评估

Mar, 2024

预训练检测器的高效可迁移性评估

Efficient Transferability Assessment for Selection of Pre-trained Detectors

Zhao Wang, Aoxue Li, Zhenguo Li, Qi Dou

TL;DR本研究通过建立一个包含各种结构、数据集和训练方法的大型目标检测器转移性基准，提出了一种高效的计算方式，同时评估分类和回归子任务，以及评估具有不同物体的任务。实验证明，相比于蛮力调整所有预训练检测器，我们的方法在不同目标领域下评估转移性能优于其他现有的方法，同时降低了 32 倍的时间和仅需 5.2% 的内存占用。

Abstract

large-scale pre-training followed by downstream fine-tuning is an effective solution for transferring deep-learning-based models. Since finetuning all possible pre-trained models is computational costly, we aim t

large-scale pre-training downstream fine-tuning transferability assessment pre-trained object detectors efficient computation

发现论文，激发创造

大规模预训练分类器任务可转移性分析

本文通过分析在只微调模型最后一层的情况下分类任务的性能传输，提出了一种新颖的任务转移分析方法，该方法通过改变类先验分布、标签和特征空间的方法变换源分布，并利用 Wasserstein 距离、标签分布的条件熵以及源分布的带权损失等因素说明了传输性，同时提出了最小化转移上限的变换源任务的优化问题，通过对最新的预训练模型进行大规模实证研究，证明了本方法在预测传输性方面的有效性。

Jul, 2023

目标检测的迁移性指标

本文介绍了以 ROI-Align 为基础的方法来对对象进行定位和提取特征，并提出一种考虑到坐标回归任务的传递性度量 TLogME, 该度量在本文的实验中表现出了优异的表现和进行了比较，与现有的其他传递度量相比具有更好的稳健性。

Jun, 2023

ETran: 基于能量的可迁移性评估

本文提出了一个基于能量的可转移性评估度量 (ETran)，用于解决目标检测和图像分类中预训练模型的排名问题。ETran 通过能量得分、分类得分和回归得分来判断目标数据集对预训练模型是否为带内（IND）或带外（OOD）数据，并在分类、回归和目标检测任务上都适用，是首个提出目标检测任务的可转移性评估的研究。在四个基准测试和两个任务上的广泛实验证明，ETran 在目标检测和分类基准测试上的平均性能分别比先前的方法提高了 21% 和 12%，并在转移性评估方面达到了最新的成果。

Aug, 2023

选择源模型集的可迁移度指标

本研究提出使用可计算的传递性度量来预测目标数据集上表现最佳的模型组，从包括 17 个来源数据集、两种不同架构和两种预训练方案在内的大规模源模型池中自动选择模型，在语义分割任务中通过与两个基准模型的比较，实现平均交并比相对提高 6.0% 和 2.5%。

Nov, 2021

如何选择转移模型？一项关于转移可行性估计的调查

现已大规模和大量可用的预训练模型，因此估计模型的迁移能力变得至关重要，本文针对这个问题进行了综述，并将其分为两个领域：无源模型迁移能力估计和有源模型迁移能力估计，提供了相关的分类和指导。

Feb, 2024

对比检测的高效视觉预训练

引入对比检测算法的自监督目标，通过在图像增强中识别物体水平特征提取富有学习信息的信号，实现高效的自监督预训练，拥有多种下游任务的领先转移精度。在 ImageNet 预训练模型表现与大型自监督系统 SEER 相当的同时，需要少至 10 倍的预训练数据量，最终该目标还能轻松应对更复杂的图像。

Mar, 2021

有限数据集上利用生成模型进行目标检测的迁移学习

我们提出了一种转移学习框架，通过基于扩散的生成模型在少量真实数据情景下改善目标检测器的性能，从而解决了数据有限性的挑战。该方法在海洋生物学和城市环境中的鱼类和汽车目标检测任务中取得了与数千张图像训练模型相媲美的检测性能，为各个领域的基于生成 AI 的机器学习应用开辟了新的途径。

Feb, 2024

重新审视知识转移在训练对象分类器中的作用

本文提出了一种基于知识迁移的新型目标检测算法，基于训练一个单一的多类目标检测器，可以实现在语义层次结构中的所有源类上训练。该技术可以应用于多个数据集，并且在 ILSVRC 2013 检测数据集上已经成功实现了目标检测领域的业界新纪录。

Aug, 2017

AlignDet: 对象检测中的预训练和微调对齐

通过解决数据、模型和任务之间的差异，AlignDet 提出了一种统一预训练框架，可以适应各种现有的检测器，提高检测器的性能、泛化能力和收敛速度。

Jul, 2023

医学图像分析的迁移学习系统基准测试分析

通过对比自然图像与医学图像，本论文通过大规模评估了不同图像预训练模型在医学图像分析领域的可迁移性，提出了将自然图像模型迁移到医学图像中的实用方法，并发现新的关键性能：针对医学分割任务 fine-grained 数据预训练模型具有独特的局部特征表示，自我监督的 ImageNet 模型比有监督的 ImageNet 更有效地学习整体特征，连续预训练可以缩小自然图像与医学图像领域之间的跨度，有望引导深度学习在医学图像领域的未来研究。

Aug, 2021