本文提出了一种简单而有效的方法,通过在每个参数的内部循环优化中随机删除梯度来缓解基于梯度的元学习的过拟合风险,从而改善了深度神经网络在新任务上的泛化性能。 作者在大量计算机视觉任务上进行了实验和分析,证明了梯度丢失规范化可以缓解过拟合问题并提高各种基于梯度的元学习框架的性能。
Apr, 2020
本文提出了一种联合训练方法,将迁移学习和元学习相结合,从而在少分类、少样本以及多分类、多样本任务中均可获得更好的泛化性能。
Sep, 2018
该论文介绍了元学习在深度学习中的应用及其近期发展,涵盖度量、记忆、基于学习等方法,并探讨了当前的挑战和未来的研究方向。
Mar, 2023
本文研究了使用高斯特征的线性回归模型下过拟合元学习的泛化性能,发现过拟合的 MAML 最小 L2 规范解可以有效降低泛化误差。
Apr, 2023
本篇论文提出了一种名为元转移学习的新型少样本学习方法,通过训练多个任务以及为每个任务学习深度神经网络权重的缩放和移位函数来实现迁移。作者使用提出的 HT 元批处理方案对 MiniImagenet 和 Fewshot-CIFAR100 这两个具有挑战性的少样本学习基准进行了实验,并将其与相关工作进行了广泛比较,结果验证了元转移学习方法的优越性和高准确性。
Dec, 2018
通过信息理论设计的元正则化目标,可以使元学习器在任务训练数据和任务测试数据之间有效地适应,成功地使用来自非相互排斥任务的数据来有效地适应新任务,并在应用场景中大幅优于标准元学习算法。
Dec, 2019
本篇研究了如何在少量标记数据的情况下进行监督学习,通过元学习来利用相似性,结合谱方法,提出了一种优雅的方法来充分利用小型数据集,只需适量的中型数据即可使大数量小标记数据的任务替代大数据任务。
Feb, 2020
通过内部循环正则化机制,共享梯度信息并根据元学习参数进行贡献缩放,实现了渐进共享的元学习,从而有效地加速元训练过程,提高内部循环学习速率。
Dec, 2023
该论文提出了一种概率元学习算法,能够从模型分布中采样模型,并且在模型适应新任务时注入噪声来减少任务模糊性,实验结果表明,该方法可以在模糊的少样本学习问题中采样出可信的分类器和回归器,并且阐述了如何利用对模糊性的推理来解决活跃学习问题。
Jun, 2018
本文提出在 few-shot classification 问题中采用深度神经网络集成来解决分类器高方差的问题,通过引入新策略鼓励网络相互合作来提高分类性能,实验结果表明该方法在 mini-ImageNet 和 CUB 数据集上显著优于当前的 meta-learning 技术。
Mar, 2019