本论文研究了多任务学习（MTL）与基于梯度的元学习（GBML）之间的关系，通过理论和实证研究证明了它们在优化公式和学习到的预测函数上的相似性，并通过样例展示了 MTL 作为一阶方法可以代替计算代价高的二阶方法 ——GBML，在大规模数据集上训练时更加有效。

Jun, 2021

本文提出了一种新颖的元转移学习（MTL）方法，通过学习每个任务的深度神经网络权重的缩放和移位函数来实现权重的转移，同时引入了硬任务元批处理方案作为有效的学习课程，对三个具有挑战性的基准数据集进行了少样本学习实验，并报告了五类少样本识别任务的最高性能，验证了 MTL 方法的有效性。

Oct, 2019

本文研究了神经网络在基于梯度的元学习中的泛化问题，分析了目标景观的各种特性，提出了一种新的正则化方法以增强模型的泛化能力。实验表明，在元训练提供的元解决方案的基础上，通过几步基于梯度的微调适应元训练模型到新任务时，所得到的元测试解决方案变得越来越平坦，损失更低，并且远离元训练解决方案。

Jul, 2019

利用从相关任务中提取的任务不变的先验知识，元学习是一种原则性的框架，能够在数据记录有限时有效地学习新任务。使用预条件器来处理权重更新的收敛问题是元学习中的一个基本挑战。现有方法通过增强每个任务的训练过程来处理这个挑战。然而，简单的线性预条件器很难捕捉复杂的损失几何结构。本文通过学习非线性的镜像映射来解决这个限制，从而引出一种通用的距离度量，能够捕捉和优化各种损失几何结构，从而促进每个任务的训练。在少样本学习数据集上的数值测试验证了这种方法的优越性和收敛性。

Dec, 2023

本文提出了一种理论框架来设计和理解实用的元学习方法，该方法将任务相似性的复杂形式化与在线凸优化和序列预测算法的广泛文献融合。该方法使任务相似性能够自适应地学习，为统计学习 - to-learn 的转移风险提供更加精确的界限，并在任务环境动态变化或任务共享一定几何结构的情况下，导出高效算法的平均情况后悔界限。我们使用该理论修改了几种流行的元学习算法，并在少样本学习和联邦学习的标准问题上改善了它们在元测试时的性能。

Jun, 2019

本文提出了一种称为 Latent Embedding Optimization (LEO) 的方法，通过学习基于数据的潜在生成表示和在低维潜在空间中进行梯度元学习，以解决基于梯度的元学习在高维参数空间中的实际困难。实验结果表明，LEO 在 miniImageNet 和 tieredImageNet 几个少样本学习任务上表现优异，并能够更有效地执行调整，同时也能捕捉数据中的不确定性。

Jul, 2018

多任务学习中的问题和挑战，包括优化算法的评估，梯度级别的比较，梯度角度和相对梯度范数的局限性，以及基于特征提取器的潜在空间和特征解缠的训练监测结果。

Feb, 2024

本篇论文提出了一种名为元转移学习的新型少样本学习方法，通过训练多个任务以及为每个任务学习深度神经网络权重的缩放和移位函数来实现迁移。作者使用提出的 HT 元批处理方案对 MiniImagenet 和 Fewshot-CIFAR100 这两个具有挑战性的少样本学习基准进行了实验，并将其与相关工作进行了广泛比较，结果验证了元转移学习方法的优越性和高准确性。

Dec, 2018

梯度基于元学习技术旨在从一组训练任务中提取有用的先验知识，以便可以更高效地使用梯度下降学习新任务。我们提出了基于子空间适应先验（SAP）的梯度元学习算法，它不仅可以学习好的初始化参数（先验知识），还可以学习可调整的层参数子空间，以减少过拟合的风险并在少样本学习中获得优越的性能。数值实验表明，SAP 在少样本图像分类设置中表现出优越或具有竞争力的性能。

Oct, 2023

本文提出了一种模型无关的元学习算法，通过少量的训练样本，使用梯度下降算法来训练模型的参数，实现了对新学习任务的快速调整和学习，导致在少量图像分类、回归和神经网络政策优化方面表现出最先进的性能。

Mar, 2017