本文介绍了一种利用MT-net进行梯度下降的元学习方法,并通过任务特异性学习实现梯度下降,从而在少样本分类和回归任务上实现了最先进的效果。
Jan, 2018
研究表明,自动化架构搜索与基于梯度的元学习相结合,能够优化元学习器,使用此技术,预测准确率提高了11.54%,在五次样本五种类的迷你图像分类问题中,最终的元学习器达到了74.65%的准确率,是目前最先进的结果之一,也是在元学习背景下第一个成功的神经架构搜索。
Jun, 2018
本文提出了一种理论框架来设计和理解实用的元学习方法,该方法将任务相似性的复杂形式化与在线凸优化和序列预测算法的广泛文献融合。该方法使任务相似性能够自适应地学习,为统计学习-to-learn的转移风险提供更加精确的界限,并在任务环境动态变化或任务共享一定几何结构的情况下,导出高效算法的平均情况后悔界限。我们使用该理论修改了几种流行的元学习算法,并在少样本学习和联邦学习的标准问题上改善了它们在元测试时的性能。
Jun, 2019
本文研究了神经网络在基于梯度的元学习中的泛化问题,分析了目标景观的各种特性,提出了一种新的正则化方法以增强模型的泛化能力。实验表明,在元训练提供的元解决方案的基础上,通过几步基于梯度的微调适应元训练模型到新任务时,所得到的元测试解决方案变得越来越平坦,损失更低,并且远离元训练解决方案。
Jul, 2019
通过信息理论设计的元正则化目标,可以使元学习器在任务训练数据和任务测试数据之间有效地适应,成功地使用来自非相互排斥任务的数据来有效地适应新任务,并在应用场景中大幅优于标准元学习算法。
Dec, 2019
该文总结了元学习(或学习-学习)领域的现状,旨在通过改进学习算法本身来解决深度学习中包括数据和计算瓶颈在内的传统挑战,并提出了一种更全面的元学习方法分类,并重点介绍了几个应用领域,如少样本学习和强化学习,并讨论了未来研究的未解决的问题和有前景的方向。
Apr, 2020
本论文旨在提供关于Deep Meta-Learning的理论基础以及总结关键的度量、模型和优化技术,同时也指出了性能评估和计算成本等主要挑战。
Oct, 2020
通过使用稀疏梯度下降的元学习方法,可以改善神经网络权重初始化的泛化能力,从而实现少量权重改变导致低泛化误差,并且这种选择性稀疏性机制使得元学习在Few-shot和Continual学习等问题上更加高效。
Oct, 2021
通过提供一份综合调查报告,有组织地使用一致的术语和形式描述,本文旨在促进这个有前景的研究领域的进一步发展。
Nov, 2023
通过内部循环正则化机制,共享梯度信息并根据元学习参数进行贡献缩放,实现了渐进共享的元学习,从而有效地加速元训练过程,提高内部循环学习速率。
Dec, 2023