Mar, 2024

下游微调的预训练模型建议

PDF
TL;DR本文提出了一个实用性框架 Fennec，通过将所有模型和历史任务映射到一个 transfer-related 子空间中，以判断他们之间的可迁移性，并通过一个大型视觉模型来推断新任务在 transfer 空间中的表示，最后通过 rigorous testing 在两个基准测试上验证了框架的有效性。
发现论文，激发创造
  • 选择迁移哪个模型？在庞大的数据集中寻找关键之针

    本文提出一种基于悔意的模型选择框架，探讨了对于视觉任务模型选择的通用策略与任务相关策略，并且通过具有代表性的数据集验证了一个简单高效的混合搜索策略的有效性。

    Oct, 2020

  • 可扩展的多元模型选择，用于可访问的迁移学习

    本文提出了一种基于 “可扩展多样化模型选择” 的框架，利用若干简单技巧改善了现有的预选权重和转移能力估计算法，在多种基于预训练深度学习模型的数据集上进行了广泛实验。结果表明，该方法（PARC）优于其他所有方法，并且本文公开了所用的 Benchmarks 和代码。

    Nov, 2021

  • 通过图学习的模型动物园进行模型选择

    通过分析预先训练的深度学习模型的元数据，并捕捉模型和数据集之间的内在关系，研究人员提出了一种名为 TransferGraph 的新框架，将模型选择问题重新定义为图学习问题，并在 16 个真实数据集上进行了广泛实验，发现相较于现有方法，TransferGraph 在预测性能和实际微调结果之间的相关性上有 32% 的提升。

    Apr, 2024

  • 利用视觉基础模型，高效训练小型任务专用模型

    利用大型视觉基础模型（VFMs）通过在庞大数据集上预训练，以及在有限标记的目标数据下展现出优异性能的情况下，提出了一种简单高效的面向任务的知识迁移方法，用于对小型任务特定模型进行有效训练。实验结果表明，该方法在有限标记数据的情况下，在四个目标任务上的性能优于面向任务无关的 VFM 蒸馏、Web 规模 CLIP 预训练和监督式 ImageNet 预训练，分别提升了 1-10.5%、2-22% 和 2-14%。研究还指出了用于知识迁移的数据集对最终目标任务性能的显著影响，并提出了基于图像检索的方法来筛选有效的迁移集。

    Nov, 2023

  • 基于专家模型的可扩展迁移学习

    本文探讨了针对不同目标任务使用专家表示进行转移学习的有效策略，并提出了一种基于适配器的体系结构，能够将多个专家压缩到单个模型中，并在不同数据源上评估其性能，证明其在超过 20 种不同的视觉任务上优于基线方法。

    Sep, 2020

  • 重新审视分类器：将视觉语言模型应用于视频识别

    该研究重点研究了通过使用不同于传统方法的先前训练模型知识来改进视频分类的方法，简单而有效的调整模式在各种视频识别场景中达到了最先进的表现。

    Jul, 2022

  • 预训练检测器的高效可迁移性评估

    本研究通过建立一个包含各种结构、数据集和训练方法的大型目标检测器转移性基准，提出了一种高效的计算方式，同时评估分类和回归子任务，以及评估具有不同物体的任务。实验证明，相比于蛮力调整所有预训练检测器，我们的方法在不同目标领域下评估转移性能优于其他现有的方法，同时降低了 32 倍的时间和仅需 5.2% 的内存占用。

    Mar, 2024

  • 通过微观偏差 - 方差分析理解最佳特征转移

    在转移学习范式下，该研究探索了使用预训练特征转换来优化下游性能的简单线性模型，并发现了通过最小化沿着一组下游任务的平均渐近下游风险来确定最佳预先训练表示的相对重要性以及从偏差 - 方差角度对它们的贡献的特征和结构的学习。

    Apr, 2024

  • 选择哪些高效的中间任务进行预训练？

    通过 adapter fine-tuning 方法，有效地和高效地获取并选取 NLP 任务中的中间任务，从而在目标任务上实现更好的效果。

    Apr, 2021

  • 用于高效任务分类和迁移学习的表示相似性分析

    本文提出通过使用 RSA 方法评估不同任务和其特定模型之间的关系来实现任务分类，进而用少量图像和预训练模型来展示此方法在生成 Taskonomy 数据集的任务分类方面的有效性和效率，并展示了在与 Pascal VOC 语义分割等任务中转移学习表现上 RSA 的关系，结果表明在相似性得分较高的任务上训练的模型具有更好的迁移学习表现。

    Apr, 2019