一种用于定制模型训练的元学习方法
本文提出了一种基于熵和不等式优化的任务不可知元学习算法,可以在避免过度适应已有任务和提高元学习器泛化性能方面有效地解决少样本学习问题,并在少量分类和强化学习任务中表现优异。
May, 2018
该论文提出了一种概率元学习算法,能够从模型分布中采样模型,并且在模型适应新任务时注入噪声来减少任务模糊性,实验结果表明,该方法可以在模糊的少样本学习问题中采样出可信的分类器和回归器,并且阐述了如何利用对模糊性的推理来解决活跃学习问题。
Jun, 2018
本篇论文提出了一种名为元转移学习的新型少样本学习方法,通过训练多个任务以及为每个任务学习深度神经网络权重的缩放和移位函数来实现迁移。作者使用提出的HT元批处理方案对MiniImagenet和Fewshot-CIFAR100这两个具有挑战性的少样本学习基准进行了实验,并将其与相关工作进行了广泛比较,结果验证了元转移学习方法的优越性和高准确性。
Dec, 2018
本文提出了一种新颖的元转移学习(MTL)方法,通过学习每个任务的深度神经网络权重的缩放和移位函数来实现权重的转移,同时引入了硬任务元批处理方案作为有效的学习课程,对三个具有挑战性的基准数据集进行了少样本学习实验,并报告了五类少样本识别任务的最高性能,验证了 MTL 方法的有效性。
Oct, 2019
通过信息理论设计的元正则化目标,可以使元学习器在任务训练数据和任务测试数据之间有效地适应,成功地使用来自非相互排斥任务的数据来有效地适应新任务,并在应用场景中大幅优于标准元学习算法。
Dec, 2019
本文提出了一个基于对元学习与传统监督学习之间联系的重新审视和加强的原则性统一框架,通过把任务特定数据集和目标模型看作(特征、标签)样本,我们可以把许多元学习算法归约到监督学习的实例中,进一步提高了元学习的表现。
Feb, 2020
本文提出了利用元任务之间的关系来辅助元学习的方法,分别考虑了在两种类型的元任务对上的关系,并提出了不同的策略来利用它们:1)有不相交类集的两个元任务,2)有相同类集的两个元任务,并给出了相应的新学习目标。然而由于实验中的一些错误,我们选择撤回本文。
Feb, 2020
本文探讨了在整个标签集上进行全分类的简单方法,并通过此方法在多个基准测试中取得了与现有技术相当的表现。同时,本文还对元学习与全分类目标在少样本学习中的权衡进行了深入分析。
Mar, 2020
该文总结了元学习(或学习-学习)领域的现状,旨在通过改进学习算法本身来解决深度学习中包括数据和计算瓶颈在内的传统挑战,并提出了一种更全面的元学习方法分类,并重点介绍了几个应用领域,如少样本学习和强化学习,并讨论了未来研究的未解决的问题和有前景的方向。
Apr, 2020
本论文研究了多任务学习(MTL)与基于梯度的元学习(GBML)之间的关系,通过理论和实证研究证明了它们在优化公式和学习到的预测函数上的相似性,并通过样例展示了MTL作为一阶方法可以代替计算代价高的二阶方法——GBML,在大规模数据集上训练时更加有效。
Jun, 2021