本论文研究了多任务学习(MTL)与基于梯度的元学习(GBML)之间的关系,通过理论和实证研究证明了它们在优化公式和学习到的预测函数上的相似性,并通过样例展示了 MTL 作为一阶方法可以代替计算代价高的二阶方法 ——GBML,在大规模数据集上训练时更加有效。
Jun, 2021
本研究提出了一种基于元学习的转移学习方法,可以在异构架构和任务之间自动学习来自源网络的知识应该转移到目标网络的哪个位置,该方法在多种数据集和网络架构上都显著优于手工制定的传统方法。
May, 2019
本文分析了多任务学习的信息传递动态,并开发了可量化任务间信息转移的相似度度量方法,从而使得我们在宏观和微观层面上提出了两种方法来优化多任务学习性能,这些方法在三个监督式多任务学习基准和一个多任务强化学习范式上都有显著改进。
Oct, 2020
该研究对两种不同方法进行了广泛调查研究,即迁移学习和元学习,以解决机器学习中有限数据的问题,并得出了在不同条件下两种方法的表现并评估了训练数据集大小对它们的影响。这项综合性探索为确定在任何情况下选择最适合的方法提供了见解。
Oct, 2023
本文提出了一种基于梯度的分层结构的元学习方法,该方法通过任务聚类结构以及自适应知识传递来解决元学习中任务不确定性和异质性问题,并在玩具回归和少样本图像分类问题中取得了最优表现。
Leap 是一个基于元学习的框架,通过在学习过程中跨任务间传递知识,从而在计算机视觉任务上优于竞争方法,且可以在涉及数百万梯度步骤的强化学习环境中实现跨学习过程的知识转移。
Dec, 2018
该文总结了最近关于利用深度模型在语音和语言处理中进行模型适应的一些重要研究,重点关注了利用迁移学习在跨语音和多语言任务中的表现,并展示了深度模型在跨数据分布、数据类型、模型结构和模型类型之间进行学习的潜力。
Nov, 2015
本篇论文提出一种基于知识库组织方式的自动关系元学习(ARML)框架,它可以从先前完成的任务中自动抽取跨任务关系并构建元知识图,通过学习的元知识图解决任务异质性的挑战,同时提高模型可解释性。
Jan, 2020
本文提出了一种新颖的元转移学习(MTL)方法,通过学习每个任务的深度神经网络权重的缩放和移位函数来实现权重的转移,同时引入了硬任务元批处理方案作为有效的学习课程,对三个具有挑战性的基准数据集进行了少样本学习实验,并报告了五类少样本识别任务的最高性能,验证了 MTL 方法的有效性。
Oct, 2019
本文提出了一种联合训练方法,将迁移学习和元学习相结合,从而在少分类、少样本以及多分类、多样本任务中均可获得更好的泛化性能。
Sep, 2018