理解情节元训练的过拟合
本文提出了利用元任务之间的关系来辅助元学习的方法，分别考虑了在两种类型的元任务对上的关系，并提出了不同的策略来利用它们：1）有不相交类集的两个元任务，2）有相同类集的两个元任务，并给出了相应的新学习目标。然而由于实验中的一些错误，我们选择撤回本文。
Feb, 2020
本文探讨了在整个标签集上进行全分类的简单方法，并通过此方法在多个基准测试中取得了与现有技术相当的表现。同时，本文还对元学习与全分类目标在少样本学习中的权衡进行了深入分析。
Mar, 2020
研究知识蒸馏的目标函数KL散度损失在温度参数变大时侧重于logit匹配，而在温度参数趋近于0时侧重于标签匹配，提出使用均方误差作为损失函数，学生模型直接学习老师模型的logit向量。该方法优于KL散度损失，并可以改善标签噪声，通过实验证明了知识蒸馏的有效性。
May, 2021
本研究提出了用元学习结合知识蒸馏的方法（MetaDistil），可以在固定教师网络期间更好地向学生网络转移知识。在多个实验基准上，MetaDistil可以比传统的知识蒸馏算法产生更显著的改进，并且对不同的学生容量和超参数的选择不太敏感，有助于在不同的任务和模型上使用知识蒸馏。
Jun, 2021
本文提出了一种元知识蒸馏（MKD）方法，利用可学习的元温度参数进行元学习，通过适应学习目标的梯度自适应地调整元参数以解决知识蒸馏（KD）的退化问题，从而在不同数据集规模、不同网络和不同数据扩增类型上实现了与当下最优秀方法相当的性能表现。
Feb, 2022
本文介绍了一种名为 DIST 的方法，它可以更好地从一个更强的教师模型中进行知识蒸馏，通过保留教师和学生之间的预测关系，提出了基于相关损失的方法，从而实现了最先进的性能。
May, 2022
基于元学习框架，我们提出了一种端到端训练范式，通过整个训练集的信息与元学习训练范式相互增强，以解决少样本学习中训练成本高和性能欠佳的问题。而且，我们的框架是无模型偏见的，相比基准系统提升了约1%的性能。
Mar, 2024
本研究解决了元学习方法在处理少样本学习时容易学习快捷特征而导致泛化能力差的问题。提出了“更加精确地学习”的概念，并通过一种称为元自蒸馏（MSD）的新框架，使模型能够从数据中学习到精确的目标知识，减少噪声知识的影响。实验表明，MSD在标准和增强场景下的少样本分类任务中表现出色，显著提高了模型学习知识的准确性和一致性。
Aug, 2024