通过图学习的模型动物园进行模型选择

Apr, 2024

通过图学习的模型动物园进行模型选择

Model Selection with Model Zoo via Graph Learning

Ziyu Li, Hilco van der Wilk, Danning Zhan, Megha Khosla, Alessandro Bozzon...

TL;DR通过分析预先训练的深度学习模型的元数据，并捕捉模型和数据集之间的内在关系，研究人员提出了一种名为 TransferGraph 的新框架，将模型选择问题重新定义为图学习问题，并在 16 个真实数据集上进行了广泛实验，发现相较于现有方法，TransferGraph 在预测性能和实际微调结果之间的相关性上有 32% 的提升。

Abstract

Pre-trained deep learning (DL) models are increasingly accessible in public repositories, i.e., model zoos. Given a new prediction task, finding the best model to fine-tune can be computationally intensive and costly, especially when the number of pre-trained models is large. Selecting the right pre-trained models is crucial, yet complicated by the diversity

pre-trained deep learning models model selection graph learning problem metadata correlation

发现论文，激发创造

一个线性化框架和新的模型精调选择基准

研究通过从不同领域预训练的模型集合（模型库）微调模型是提高低数据量情况下的测试准确性的一种技术，但如何在不进行任何训练的情况下从模型库中预选正确的模型仍然是一个开放的课题。本文使用线性化框架来近似微调，并介绍了两个新的模型选择基准 ——Label-Gradient 和 Label-Feature Correlation，并提出了一个包含单一和多领域模型库以及许多目标任务的新综合基准。该基准突出了与 fine-tuning Imagenet 模型相比使用模型库的准确率提升。我们展示了我们的模型选择基准可以通过少数的选择选择最佳的微调模型，并与现有算法相比具有最高的 fine-tuning 准确度相关性排名。

Jan, 2021

下游微调的预训练模型建议

本文提出了一个实用性框架 Fennec，通过将所有模型和历史任务映射到一个 transfer-related 子空间中，以判断他们之间的可迁移性，并通过一个大型视觉模型来推断新任务在 transfer 空间中的表示，最后通过 rigorous testing 在两个基准测试上验证了框架的有效性。

Mar, 2024

可扩展的多元模型选择，用于可访问的迁移学习

本文提出了一种基于 “可扩展多样化模型选择” 的框架，利用若干简单技巧改善了现有的预选权重和转移能力估计算法，在多种基于预训练深度学习模型的数据集上进行了广泛实验。结果表明，该方法（PARC）优于其他所有方法，并且本文公开了所用的 Benchmarks 和代码。

Nov, 2021

图之道：基于多个领域对比学习的基础拓扑模型

使用对抗式对比学习提出了一种用于多个图领域的预训练模型，通过在拓扑结构上训练模型，并在评估时包含节点标签，我们展示了该模型在各种下游任务中与基准模型、未经训练的模型和非转移模型相比，性能相等或更好，包括在评估时使用节点标签，性能始终优于单个领域或非预训练模型。

Nov, 2023

Zoo-Tuning：来自模型动物园的自适应迁移学习

Zoo-Tuning 是一种自适应迁移学习的方法，将预训练模型的参数自适应地聚合到目标模型中以提高知识转移，减少计算和存储成本，并在多种任务中进行了评估。

Jun, 2021

GraphControl: 为图领域迁移学习的通用图预训练模型添加条件控制

通过 GraphControl 模块和先进的图结构预训练模型，解决了在不同图中转移预训练模型到下游任务时的可迁移性和特异性之间的困境，并在目标数据集上实现了 1.4-3 倍的性能提升。

Oct, 2023

预训练图神经网络用于通用结构特征提取

本文提出一种预训练框架，使用合成图纹理来获取通用图结构信息，提高了已训练模型在不同下游任务上的性能。

May, 2019

ZeroG: 探索图中的跨数据集零样本迁移性

通过引入 ZeroG，一种新的框架，我们扩展了这种零样本迁移学习范式到图领域，以实现数据集间的泛化，减少特征不对齐、标签空间不匹配和负迁移等固有挑战，并通过使用语言模型对节点属性和类别语义进行编码，以确保数据集间的一致特征维度，并通过基于提示的子图采样模块丰富提取的子图的语义信息和结构信息，进一步采用轻量级微调策略降低过拟合风险，并保持语言模型的零样本学习能力。结果显示我们的模型在实现显著的跨数据集零样本迁移能力方面非常有效，为图基础模型的发展开辟了新的路径。特别地，ZeroG 作为一种零样本方法，甚至能在 Pubmed 上实现可与半监督学习相媲美的结果。

Feb, 2024

基于图的异构多任务学习生成模型

提出了一种新的基于图的生成模型，将多个异构学习任务统一到同一框架中，通过将图卷积网络与多个变分自编码器相结合，在不同的任务上嵌入节点，从而成功提高了所有任务的性能，推动了现有先进方法的进步。

Nov, 2019

使用知识图谱进行视觉迁移学习的调查

本文综述了利用知识图谱的视觉迁移学习方法，着重分析知识图谱的建模结构、特征提取和知识图嵌入方法，并介绍了四种知识图谱与深度学习管道的组合方式。同时，提供了评估基准、处理数据集和基于知识图谱的辅助知识类型的概述。未来的研究应着眼于挖掘面临的挑战和开放问题。

Jan, 2022