使用迁移学习方法减少神经自动机器学习的计算成本，在语言和图像分类任务中，Transfer Neural AutoML 在单任务训练收敛时间上节省了超过一个数量级。

Mar, 2018

该研究提出了基于自监督任务的图神经网络（GNN）的迁移学习新范式，其能够有效地将自监督任务作为辅助任务在微调阶段与目标任务结合起来，通过元学习来学习辅助任务的权重，对于多任务学习，预训练和微调均表现出色。

Jul, 2021

本文提出了一种新颖的对抗多臂赌博方法，自动学习将源表示路由到适当的目标表示，进而以有意义的方式结合这些表示以产生准确的目标模型，适用于小数据应用。

Feb, 2022

采用预训练深度神经网络层作为基块构建多任务学习系统，通过动态选择相关的先验知识、模型参数和超参数进行自动调优，控制模型规模实现高质量模型与较小的规模之间的权衡，并在 10 个多样化的图像分类任务中，相对于标准调优，提高了平均精度 2.39％而使用了每个任务 47％ 以上的参数。

May, 2022

网络对齐是在不同图形之间建立一对一对应关系的任务，我们提出了一种新颖的广义图自编码器架构，旨在提取强大且鲁棒的节点嵌入，以实现更准确的对齐，并证明生成的嵌入与图的特征值和特征向量相关联，可以与传统谱方法相比实现更准确的对齐。我们的框架还利用迁移学习和数据增强，在无需重新训练的情况下实现了非常大规模的网络对齐。对真实世界图形的广泛实验提供了证据，支持所提方法的有效性和可扩展性。

Oct, 2023

本文介绍了不同层面的深度学习神经网络结构搜索方法，指出当前手动搜索神经网络结构的困难和繁琐，提出了一种基于强化学习和多任务学习的神经网络结构自动化搜索算法 -- 多任务神经模型搜索算法 (MNMS)，可用于自动化拟合多项任务，其最大的特点在于，采用了迁移学习的思路，将训练模型所获得的知识迁移到下一个任务当中，大幅度节省了搜索时间，提高了模型效果。

Oct, 2017

本篇论文提出一种基于知识库组织方式的自动关系元学习（ARML）框架，它可以从先前完成的任务中自动抽取跨任务关系并构建元知识图，通过学习的元知识图解决任务异质性的挑战，同时提高模型可解释性。

Jan, 2020

本文介绍了一种基于神经架构搜索（NAS）的新方法，称为神经架构传递（NAT），该方法可将已训练的超网络集成到在线迁移学习和多目标进化搜索流程中，以快速生成适用于多个应用场景的任务特定定制模型，并在 11 项基准图像分类任务中证明了其有效性。

May, 2020

本文提出一种新的自监督学习框架，可以解决在设计和比较不同任务、模型和数据域时的限制问题，通过这个框架设计一种新的自监督任务，在 PASCAL VOC 2007、ILSVRC12 和 Places 数据集上，取得了显著的最先进表现，并将自监督学习和监督学习之间的对象检测 mAP 误差从 5.9% 缩小到 2.6%。

May, 2018

本文提出了一种基于任务表示的团队适应方法，通过学习任务之间的共同结构，使得团队可以在少量的源任务学习之后将协作知识传递到新任务上。我们发现微调转移策略有助于解决那些从头开始难以学习的任务。

Mar, 2022