元学习的自适应任务采样
本文提出了一种基于熵和不等式优化的任务不可知元学习算法,可以在避免过度适应已有任务和提高元学习器泛化性能方面有效地解决少样本学习问题,并在少量分类和强化学习任务中表现优异。
May, 2018
该论文提出了一种概率元学习算法,能够从模型分布中采样模型,并且在模型适应新任务时注入噪声来减少任务模糊性,实验结果表明,该方法可以在模糊的少样本学习问题中采样出可信的分类器和回归器,并且阐述了如何利用对模糊性的推理来解决活跃学习问题。
Jun, 2018
本研究提出新的元学习方法,以注意机制和先验知识为主要组成,帮助元学习器更好地理解输入数据并集中于重点特征,在解决少样本学习和一些任务过度拟合问题方面表现优异。
Dec, 2018
通过信息理论设计的元正则化目标,可以使元学习器在任务训练数据和任务测试数据之间有效地适应,成功地使用来自非相互排斥任务的数据来有效地适应新任务,并在应用场景中大幅优于标准元学习算法。
Dec, 2019
本文提出了利用元任务之间的关系来辅助元学习的方法,分别考虑了在两种类型的元任务对上的关系,并提出了不同的策略来利用它们:1)有不相交类集的两个元任务,2)有相同类集的两个元任务,并给出了相应的新学习目标。然而由于实验中的一些错误,我们选择撤回本文。
Feb, 2020
本研究关注元学习及其在few-shot分类任务中达到优秀表现的特征提取器,提出元学习模型表现优秀的原因并给出一种正则化方法来改进标准训练方法,在很多情况下,该方法不仅可超越元学习,且快速度又快。
Feb, 2020
本文探讨了在整个标签集上进行全分类的简单方法,并通过此方法在多个基准测试中取得了与现有技术相当的表现。同时,本文还对元学习与全分类目标在少样本学习中的权衡进行了深入分析。
Mar, 2020
通过对不同的元学习方法、任务采样器和少样本学习任务进行实验,本文得出三个结论:首先,没有通用的任务采样策略可以保证元学习模型的性能;其次,任务多样性可能导致模型在训练过程中出现欠拟合或过拟合的情况;最后,模型的泛化性能受到任务差异、任务熵和任务难度的影响。为了应对这些发现,我们提出了一种新颖的任务采样器,称为自适应采样器(ASr)。ASr是一种即插即用的任务采样器,利用任务差异、任务熵和任务难度进行任务采样。为了优化ASr,我们重新思考并提出了一个简单而通用的元学习算法。最后,大量的实证实验证明了所提出的ASr的有效性。
Jul, 2023