监督分类任务的可转移性和困难度

ICCVAug, 2019

监督分类任务的可转移性和困难度

Transferability and Hardness of Supervised Classification Tasks

Anh T. Tran, Cuong V. Nguyen, Tal Hassner

TL;DR本文提出了一种新的方法，通过信息论方法来估计监督分类任务的难度和可转移性，无需模型和训练，而是通过探索训练标签统计数据作为随机变量，考虑从源任务到目标任务的两个标签分配之间的条件熵，表明此值与传输模型的损失有关，并测试其在三个大型数据集上的有效性。

Abstract

We propose a novel approach for estimating the difficulty and transferability of supervised classification tasks. Unlike previous work, our approach is solution agnostic and does not require or assume trained models. Instead, we estimate these values using an information theoretic appr

supervised classification information theory conditional entropy task transferability task difficulty

发现论文，激发创造

任务迁移学习中可迁移性的信息论方法

本文提出了一个评估跨任务表示学习有效性的 H-score 度量方式，可以对在分类问题中从一个任务传递到另一个任务的表示的性能进行评估。使用实际图像数据进行的实验表明，该评价标准不仅与经验传递度量一致，而且在源模型选择和任务转移课程学习等应用中也非常有用。

Dec, 2022

回归任务的简单可迁移性估计

我们提出了两种简单且计算高效的方法，基于线性回归模型的负正则化均方差误差来估计优化的目标模型的转移性，在准确性和效率两方面显著优于现有的最先进的回归可转移性估计器。

Dec, 2023

令人沮丧的易转移能力估计

通过提出一种简单、高效、有效的量化传递学习中先前训练模型的可迁移性算法 TransRate，通过对目标任务示例进行一次遍历，度量传递性，作为预先训练模型提取目标示例特征和其标签之间互信息的方法，TransRate 在 32 个预先训练模型和 16 个下游任务的广泛评估中表现极好，从特征表示的角度评估 TransRate 评估先前训练特征的完整性及其对于每一类别的紧凑性能力。

Jun, 2021

大规模预训练分类器任务可转移性分析

本文通过分析在只微调模型最后一层的情况下分类任务的性能传输，提出了一种新颖的任务转移分析方法，该方法通过改变类先验分布、标签和特征空间的方法变换源分布，并利用 Wasserstein 距离、标签分布的条件熵以及源分布的带权损失等因素说明了传输性，同时提出了最小化转移上限的变换源任务的优化问题，通过对最新的预训练模型进行大规模实证研究，证明了本方法在预测传输性方面的有效性。

Jul, 2023

基于属性映射的深度模型可迁移性

本文提出了一个简单而高效的方法来估计深度神经网络的迁移能力，该方法通过将深度神经网络投影到一个模型空间中，其中每个网络被视为一个点，这些点之间的距离通过它们产生的归因图的偏差来衡量。该方法比 Taskonomy 快数倍，同时保留了 Taskonomy 获得的与任务相关的拓扑结构。

Sep, 2019

是否转移：统一的可转移度度量和分析

本文提出了一种新的分析方法和度量标准 —— 基于 Wasserstein 距离的联合估计（WDJE），用于在统一的分类和回归问题中估计和确定可转移性，通过比较目标风险有无转移来促进决策，同时提出了一种容易理解和计算的目标风险上界，通过有限的目标标签关系目标风险与源模型性能、域和任务之间的 Wasserstein 距离关系，简化了目标风险的计算，并将其推广到无监督设置中。实验结果表明，WDJE 在图像分类和剩余寿命回归预测中的有效性，并且所提出的目标风险上界能够很好地估计目标转移风险。

May, 2023

如何选择转移模型？一项关于转移可行性估计的调查

现已大规模和大量可用的预训练模型，因此估计模型的迁移能力变得至关重要，本文针对这个问题进行了综述，并将其分为两个领域：无源模型迁移能力估计和有源模型迁移能力估计，提供了相关的分类和指导。

Feb, 2024

基于差异的领域可迁移性用于零样本分类

本文探讨使用统计量来衡量不同任务间的相似性，从而减少 fine-tuning 的测试所需的任务对数量，并在 58 个任务和 6600 多个任务对组合上实验证明其可以提高任务的效率并显著降低运行时间。

Feb, 2023

学习聚类以在不同领域和任务间进行转移

该论文提出了一种新的方法，将迁移学习视为学习聚类的问题，通过相似性信息的迁移学习和聚类网络的学习，实现了跨领域和跨任务的转移学习。作者使用了相似性网络和两种新方法来探究无监督域自适应和跨任务学习，并在该领域展现了最新成果，将其与其他算法进行比较。同时，该方法可以应用于不同的数据集，从而增加了灵活性和稳健性，并通过进一步与域适应法相结合，获得了更好的性能。

Nov, 2017

领域泛化中的可迁移性量化和提升

本研究通过定义和计算可量化的可迁移性来研究这种特征，在领域泛化中，我们将其与诸如总变化和 Wasserstein 距离之类的区别和联系，发现现有算法中很少具有可迁移性，随后提出了一种新的算法，以测试各种基准数据集，并在其中实现了持续的改进。

Jun, 2021