使用 Bhattacharyya 类别可分性估计可转移性

CVPRNov, 2021

使用 Bhattacharyya 类别可分性估计可转移性

Transferability Estimation using Bhattacharyya Class Separability

Michal Pándy, Andrea Agostinelli, Jasper Uijlings, Vittorio Ferrari, Thomas Mensink

TL;DR本研究提出了一种名为 Gaussian Bhattacharyya Coefficient 的新方法，用于评估源模型和目标数据集之间的可迁移性，并在图像分类和语义分割等任务中进行了评估，结果表明 GBC 在大部分评估标准中表现优异。

Abstract

transfer learning has become a popular method for leveraging pre-trained models in computer vision. However, without performing computationally expensive fine-tuning, it is difficult to quantify which pre-trained source models are suitable for a specific target task, or, conversely, to

transfer learning pre-trained models gaussian bhattacharyya coefficient image classification semantic segmentation

发现论文，激发创造

BDC-Adapter: 布朗运动距离协方差在视觉语言推理中的改进

本研究提出了一种基于 Brownian 距离协方差的 BDC-Adapter 方法，通过模拟所有可能关系以测量特征依赖性，在执行分类任务时可以灵活处理非线性关系并充分表征独立性，实验证明其在性能上大幅超过了当前最先进的方法。

Sep, 2023

构建一支强大的团队：使用次模传递可计估方法选择源模型集合

提出了一种用于评估模型集合对下游任务的可转移性的新方法 OSBORN，能够综合考虑图像领域差异、任务差异和模型集合的内聚性，相较于现有指标 MS-LEEP 和 E-LEEP，该方法在图像分类和语义分割任务中表现出更好的性能。

Sep, 2023

转移度量评估的稳定性如何？

通过大规模实验研究，聚合不同实验结果并提出 LogME 转移度量法，发现在语义分割场景中选择良好的源数据集、在图像分类场景中选择良好的源体系结构以及确定哪个目标任务最受益于给定的源模型的最佳转移度量法是 LogME、NLEEP 和 GBC，但没有一种单一的转移度量法能够在所有场景中表现最佳。

Apr, 2022

回归任务的简单可迁移性估计

我们提出了两种简单且计算高效的方法，基于线性回归模型的负正则化均方差误差来估计优化的目标模型的转移性，在准确性和效率两方面显著优于现有的最先进的回归可转移性估计器。

Dec, 2023

具有不可靠源数据的鲁棒传输学习

解决在稳健转移学习中由贝叶斯分类器的不确定性和目标与源分布之间弱可转移信号引起的挑战。我们介绍了一种称为 '' 不确定性水平 '' 的新量，用于衡量目标和源回归函数之间的差异，并提出了一种简单的转移学习过程。我们建立了一个一般定理，展示了这个新量与风险改进方面的学习可转移性是如何相关的。我们的提出的 ''Transfer Around Boundary''（TAB）模型，在平衡目标和源数据性能的阈值的基础上，既高效又稳健，在改进分类的同时避免了负转移。此外，我们还展示了 TAB 模型在非参数分类和逻辑回归任务上的有效性，达到了最优上限，与对数因子相匹配。模拟研究进一步支持了 TAB 的有效性。我们还提供了简单的方法来绑定过度的错误分类错误，无需在转移学习中专门的知识。

Oct, 2023

监督分类任务的可转移性和困难度

本文提出了一种新的方法，通过信息论方法来估计监督分类任务的难度和可转移性，无需模型和训练，而是通过探索训练标签统计数据作为随机变量，考虑从源任务到目标任务的两个标签分配之间的条件熵，表明此值与传输模型的损失有关，并测试其在三个大型数据集上的有效性。

Aug, 2019

G2L: 一种几何方法用于生成伪标签，以提高迁移学习的效果

采用几何学算法 Cayley-Menger 行列式的 C2L 方法生成伪标签，以在转移学习中自动创建源模型，与经过广泛人类注释的 ImageNet1K 标签相比，其基本模型具有相似或更好的可转移性，从而使最终错误率降低 0.43％，其中 5 个不同数据集中的 4 个错误率减少。

Jul, 2022

令人沮丧的易转移能力估计

通过提出一种简单、高效、有效的量化传递学习中先前训练模型的可迁移性算法 TransRate，通过对目标任务示例进行一次遍历，度量传递性，作为预先训练模型提取目标示例特征和其标签之间互信息的方法，TransRate 在 32 个预先训练模型和 16 个下游任务的广泛评估中表现极好，从特征表示的角度评估 TransRate 评估先前训练特征的完整性及其对于每一类别的紧凑性能力。

Jun, 2021

如何选择转移模型？一项关于转移可行性估计的调查

现已大规模和大量可用的预训练模型，因此估计模型的迁移能力变得至关重要，本文针对这个问题进行了综述，并将其分为两个领域：无源模型迁移能力估计和有源模型迁移能力估计，提供了相关的分类和指导。

Feb, 2024

最优贝叶斯迁移学习

本研究提出了一种贝叶斯迁移学习框架，该框架利用源域和目标域之间的联合先验密度，定义高斯特征 - 标签分布的精度矩阵的联合 Wishart 密度作为一种转移有用信息的桥梁，提高了目标区域的分类性能。该方法是一种快速、基于闭式形式的最优贝叶斯迁移学习分类器，实验证明了其性能优于其他最先进的迁移学习和域适应方法。

Jan, 2018