Jan, 2023

基于硬子集的迁移能力估计

PDF
TL;DR本文提出 HASTE（HArd Subset TransfErability）方法，通过使用较难的目标数据子集来估计源模型转移到特定目标任务的可转移性，结合内部和输出表示方法提出两种技术来识别较困难的子集，从而可与任何现有可迁移度度量一起使用以提高其可靠性，实验结果表明，HASTE 修改的指标与现有的可迁移度指标一致或更佳。
transfer learningsource modelsubset transferrabilityharder subsettransferability metric
发现论文，激发创造
  • 构建一支强大的团队：使用次模传递可计估方法选择源模型集合

    提出了一种用于评估模型集合对下游任务的可转移性的新方法 OSBORN，能够综合考虑图像领域差异、任务差异和模型集合的内聚性，相较于现有指标 MS-LEEP 和 E-LEEP，该方法在图像分类和语义分割任务中表现出更好的性能。

    Sep, 2023

  • 监督分类任务的可转移性和困难度

    本文提出了一种新的方法，通过信息论方法来估计监督分类任务的难度和可转移性，无需模型和训练，而是通过探索训练标签统计数据作为随机变量，考虑从源任务到目标任务的两个标签分配之间的条件熵，表明此值与传输模型的损失有关，并测试其在三个大型数据集上的有效性。

    Aug, 2019

  • 选择源模型集的可迁移度指标

    本研究提出使用可计算的传递性度量来预测目标数据集上表现最佳的模型组，从包括 17 个来源数据集、两种不同架构和两种预训练方案在内的大规模源模型池中自动选择模型，在语义分割任务中通过与两个基准模型的比较，实现平均交并比相对提高 6.0% 和 2.5%。

    Nov, 2021

  • H-ensemble：可靠的少样本多源迁移的信息论方法

    多源迁移学习的新问题范式下，提出了一种信息论视角的框架 H-ensemble，通过最大相关回归的推广，动态学习源模型的线性组合，以优化目标任务的迁移能力。经过对比实验和广泛的比较分析，证明了 H-ensemble 能够成功学习最优任务集合，并且优于之前的方法。

    Dec, 2023

  • 任务迁移学习中可迁移性的信息论方法

    本文提出了一个评估跨任务表示学习有效性的 H-score 度量方式，可以对在分类问题中从一个任务传递到另一个任务的表示的性能进行评估。使用实际图像数据进行的实验表明，该评价标准不仅与经验传递度量一致，而且在源模型选择和任务转移课程学习等应用中也非常有用。

    Dec, 2022

  • 使用代理模型识别多任务学习中的负迁移

    本文提出一种通过代理模型解决多任务学习中子任务选择问题的方法，该方法使用线性回归模型预测未见过的子任务组合的性能表现，利用其提供的子任务与目标任务的相关性分数进行选择，可以更准确地预测负面转移，并显著提高现有多任务学习算法的性能。

    Mar, 2023

  • 转移度量评估的稳定性如何？

    通过大规模实验研究，聚合不同实验结果并提出 LogME 转移度量法，发现在语义分割场景中选择良好的源数据集、在图像分类场景中选择良好的源体系结构以及确定哪个目标任务最受益于给定的源模型的最佳转移度量法是 LogME、NLEEP 和 GBC，但没有一种单一的转移度量法能够在所有场景中表现最佳。

    Apr, 2022

  • 使用代理分类损失的假设迁移学习

    通过算法稳定性研究 HTL 的学习理论，本文提供了一些条件下的学习保证和复杂度自由的泛化界限，揭示了迁移学习的优点并比较了不同场景下标准损失函数的行为，为从业者提供了有价值的见解。

    May, 2023

  • 如何选择转移模型？一项关于转移可行性估计的调查

    现已大规模和大量可用的预训练模型，因此估计模型的迁移能力变得至关重要，本文针对这个问题进行了综述，并将其分为两个领域：无源模型迁移能力估计和有源模型迁移能力估计，提供了相关的分类和指导。

    Feb, 2024

  • 令人沮丧的易转移能力估计

    通过提出一种简单、高效、有效的量化传递学习中先前训练模型的可迁移性算法 TransRate，通过对目标任务示例进行一次遍历，度量传递性，作为预先训练模型提取目标示例特征和其标签之间互信息的方法，TransRate 在 32 个预先训练模型和 16 个下游任务的广泛评估中表现极好，从特征表示的角度评估 TransRate 评估先前训练特征的完整性及其对于每一类别的紧凑性能力。

    Jun, 2021