本文介绍一种名为隐式 MAML 的方法,用于在少量数据下实现基于梯度的元学习,能够解决通过内层优化得到的结果进行求导时的困难,从而优雅地处理多个梯度步骤,实现在少样本下的图像识别精度的提升。
Sep, 2019
通过选择多样的任务进行小批量处理,我们研究利用任务关联的外部知识来改善训练稳定性,进而减少训练中的噪音。
Dec, 2023
通过信息理论设计的元正则化目标,可以使元学习器在任务训练数据和任务测试数据之间有效地适应,成功地使用来自非相互排斥任务的数据来有效地适应新任务,并在应用场景中大幅优于标准元学习算法。
Dec, 2019
通过计算 MAML 应用于混合线性回归和非线性回归中的测试损失得出结论,表明最优的学习率为负数,这样做将进一步提高性能,帮助澄清掌握任务分布时应该使用何种元学习方法。
Feb, 2021
通过增加任务的多样性和降低模型对某些任务的置信度,本论文提出了解决元过拟合问题的几种方法,并在少样本学习环境中展示出了改进的泛化性能。
May, 2024
本文提出了一种简单而有效的方法,通过在每个参数的内部循环优化中随机删除梯度来缓解基于梯度的元学习的过拟合风险,从而改善了深度神经网络在新任务上的泛化性能。 作者在大量计算机视觉任务上进行了实验和分析,证明了梯度丢失规范化可以缓解过拟合问题并提高各种基于梯度的元学习框架的性能。
Apr, 2020
本论文研究了多任务学习(MTL)与基于梯度的元学习(GBML)之间的关系,通过理论和实证研究证明了它们在优化公式和学习到的预测函数上的相似性,并通过样例展示了 MTL 作为一阶方法可以代替计算代价高的二阶方法 ——GBML,在大规模数据集上训练时更加有效。
Jun, 2021
本文提出了一种通过任务插值来扩充任务集的元学习方法(MLTI),通过该方法可以实现更好的泛化性能,从而在多个数据集上显著优于当前最先进的策略。
本研究提出了一种 meta-RL 方法,通过捕捉不同任务之间的共享信息和快速抽象任务特定信息的能力,使用任务编码器生成任务嵌入并在所有任务之间共享策略,实现在训练和新任务上的更好学习能力和更高回报率。
May, 2019
本文提出了一种模型无关的元学习算法,通过少量的训练样本,使用梯度下降算法来训练模型的参数,实现了对新学习任务的快速调整和学习,导致在少量图像分类、回归和神经网络政策优化方面表现出最先进的性能。
Mar, 2017