通过元梯度增强改善元学习的泛化能力
本文提出了一种基于元学习的通道自动剪枝方法。首先使用简单的随机结构采样方法训练一个 PruningNet 元网络，然后应用演化搜索方法寻找良好表现的剪枝网络，其效率高且无需在线微调。实验结果表明，相比现有的剪枝方法，该方法在 MobileNet V1/V2 和 ResNet 等模型上有着更好的性能表现。
Mar, 2019
本文研究了神经网络在基于梯度的元学习中的泛化问题，分析了目标景观的各种特性，提出了一种新的正则化方法以增强模型的泛化能力。实验表明，在元训练提供的元解决方案的基础上，通过几步基于梯度的微调适应元训练模型到新任务时，所得到的元测试解决方案变得越来越平坦，损失更低，并且远离元训练解决方案。
Jul, 2019
通过信息理论设计的元正则化目标，可以使元学习器在任务训练数据和任务测试数据之间有效地适应，成功地使用来自非相互排斥任务的数据来有效地适应新任务，并在应用场景中大幅优于标准元学习算法。
Dec, 2019
本文提出了一种简单而有效的方法，通过在每个参数的内部循环优化中随机删除梯度来缓解基于梯度的元学习的过拟合风险，从而改善了深度神经网络在新任务上的泛化性能。 作者在大量计算机视觉任务上进行了实验和分析，证明了梯度丢失规范化可以缓解过拟合问题并提高各种基于梯度的元学习框架的性能。
Apr, 2020
本文提出了Meta-Learning中的过拟合问题，并使用信息理论框架讨论基于元学习数据增强的方法来解决这个问题。实验证明，该方法对最近提出的元规则技术有很大的补充作用。
Jul, 2020
本文提出了一种名为MetaDOCK的任务特定动态内核选择策略，通过良好地压缩CNN和任务特定的内部模型，可以在减少模型大小的同时提高模型的准确性。
Jun, 2022
针对大规模隐式神经表示（INRs）的学习，我们提出了一种高效的优化元学习技术，通过在线选择上下文点，可以在任何已知场景中大幅减少元学习的内存需求，实现上下文剪枝以及信号适应。此项技术提出了三个具有技术性新颖性的方案：context pruning 方案的提出，来自全局结构预测误差的适应性选择策略，以及测试时间梯度缩放方案，具有显著的重构改进。
Feb, 2023
这篇论文提出了一种名为SUPMER的Self-sUpervised meta-Prompt学习框架，通过自主学习锚定Meta-Training任务和整体学习的方法，实现Prompt Tuning在few-shot learning任务中领先于其他方法，同时也加强了领域通用性的性能。
Mar, 2023