通过信息理论设计的元正则化目标,可以使元学习器在任务训练数据和任务测试数据之间有效地适应,成功地使用来自非相互排斥任务的数据来有效地适应新任务,并在应用场景中大幅优于标准元学习算法。
Dec, 2019
利用层级潜变量模型,自动推断任务之间的关系并应用于模型强化学习中,从而实现在小规模数据集上的元学习,有效提高数据利用率,解决新任务的平均交互时间缩短高达 60%。
Mar, 2018
本篇研究了如何在少量标记数据的情况下进行监督学习,通过元学习来利用相似性,结合谱方法,提出了一种优雅的方法来充分利用小型数据集,只需适量的中型数据即可使大数量小标记数据的任务替代大数据任务。
Feb, 2020
采用线性回归模型,实现元学习训练中的最优数据集分配,研究表明针对不同任务的数据分配策略存在差异。
Mar, 2021
本篇论文提出一种基于知识库组织方式的自动关系元学习(ARML)框架,它可以从先前完成的任务中自动抽取跨任务关系并构建元知识图,通过学习的元知识图解决任务异质性的挑战,同时提高模型可解释性。
Jan, 2020
本项研究探讨了如何通过自监督的方式,自动构建和提供能在自然语言处理中进行大规模元学习的任务分布,考虑了任务的多样性、难度、类型、领域和课程,结果表明,这些因素都会有意义地改变任务分布,从而显著提高元学习模型少样本学习的准确度。
Nov, 2021
本文提出了一种创新的关系多任务学习框架 MetaLink,通过建立连接数据点和任务的知识图谱,利用来自辅助任务的数据点标签预测新任务中的结果,可以在不同领域的 6 个基准数据集上成功地利用不同任务之间的关系,在提出的关系多任务学习设置下,可以优于现有方法,ROC AUC 性能提高了高达 27%。
Mar, 2023
通过内部循环正则化机制,共享梯度信息并根据元学习参数进行贡献缩放,实现了渐进共享的元学习,从而有效地加速元训练过程,提高内部循环学习速率。
Dec, 2023
该论文介绍了元学习在深度学习中的应用及其近期发展,涵盖度量、记忆、基于学习等方法,并探讨了当前的挑战和未来的研究方向。
通过元学习方法,将任务和语言相互作用的表征共享,可提高自然语言处理任务和多语种任务性能。
Jan, 2021