元学习的自适应任务采样
该论文提出了一种概率元学习算法,能够从模型分布中采样模型,并且在模型适应新任务时注入噪声来减少任务模糊性,实验结果表明,该方法可以在模糊的少样本学习问题中采样出可信的分类器和回归器,并且阐述了如何利用对模糊性的推理来解决活跃学习问题。
Jun, 2018
该研究提出了一种易 - 难专家元训练策略和任务难度感知模块,用于优化元学习方法,使其在少样本分类任务上表现更好。该策略优先进行易任务的训练,再进行难任务的强化。实验结果显示,该方法在 miniImageNet 和 tieredImageNetSketch 数据集上可以获得更好的结果。
Jul, 2020
本文提出了利用元任务之间的关系来辅助元学习的方法,分别考虑了在两种类型的元任务对上的关系,并提出了不同的策略来利用它们:1)有不相交类集的两个元任务,2)有相同类集的两个元任务,并给出了相应的新学习目标。然而由于实验中的一些错误,我们选择撤回本文。
Feb, 2020
本篇论文提出了基于无监督元学习(UML)的通用嵌入向量生成方式用于 few-shot learning,并结合数据增强、半标准化相似度、混淆实例合成、任务相关嵌入变换等技术,取得了显著优于以前 UML 方法和甚至优于有监督方法的成果。
Nov, 2020
通过对不同的元学习方法、任务采样器和少样本学习任务进行实验,本文得出三个结论:首先,没有通用的任务采样策略可以保证元学习模型的性能;其次,任务多样性可能导致模型在训练过程中出现欠拟合或过拟合的情况;最后,模型的泛化性能受到任务差异、任务熵和任务难度的影响。为了应对这些发现,我们提出了一种新颖的任务采样器,称为自适应采样器(ASr)。ASr 是一种即插即用的任务采样器,利用任务差异、任务熵和任务难度进行任务采样。为了优化 ASr,我们重新思考并提出了一个简单而通用的元学习算法。最后,大量的实证实验证明了所提出的 ASr 的有效性。
Jul, 2023
本文提出了一种基于熵和不等式优化的任务不可知元学习算法,可以在避免过度适应已有任务和提高元学习器泛化性能方面有效地解决少样本学习问题,并在少量分类和强化学习任务中表现优异。
May, 2018
提出了一种新的模型无关多任务微调算法(MAMF)并探究了任务抽样对于有效进行少样本学习的影响,表明 MAMF 在五个少样本视觉语言分类任务上表现比经典的微调更佳,旨在为少样本学习提供新的见解,并鼓励探究更好的任务抽样策略。
Mar, 2022