CVPROct, 2019

通过难度任务实现元转移学习

PDF
TL;DR本文提出了一种新颖的元转移学习（MTL）方法，通过学习每个任务的深度神经网络权重的缩放和移位函数来实现权重的转移，同时引入了硬任务元批处理方案作为有效的学习课程，对三个具有挑战性的基准数据集进行了少样本学习实验，并报告了五类少样本识别任务的最高性能，验证了 MTL 方法的有效性。
meta-learningfew-shot learningdeep neural networksmeta-transfer learninghard task meta-batch
发现论文，激发创造
  • 元转移学习用于少样本学习

    本篇论文提出了一种名为元转移学习的新型少样本学习方法，通过训练多个任务以及为每个任务学习深度神经网络权重的缩放和移位函数来实现迁移。作者使用提出的 HT 元批处理方案对 MiniImagenet 和 Fewshot-CIFAR100 这两个具有挑战性的少样本学习基准进行了实验，并将其与相关工作进行了广泛比较，结果验证了元转移学习方法的优越性和高准确性。

    Dec, 2018

  • 专家培训：面向 Few-Shot 分类任务的难度感知元学习

    该研究提出了一种易 - 难专家元训练策略和任务难度感知模块，用于优化元学习方法，使其在少样本分类任务上表现更好。该策略优先进行易任务的训练，再进行难任务的强化。实验结果显示，该方法在 miniImageNet 和 tieredImageNetSketch 数据集上可以获得更好的结果。

    Jul, 2020

  • 跨越多任务学习和元学习：迈向高效训练和有效适应

    本论文研究了多任务学习（MTL）与基于梯度的元学习（GBML）之间的关系，通过理论和实证研究证明了它们在优化公式和学习到的预测函数上的相似性，并通过样例展示了 MTL 作为一阶方法可以代替计算代价高的二阶方法 ——GBML，在大规模数据集上训练时更加有效。

    Jun, 2021

  • 一种用于定制模型训练的元学习方法

    本文提出了一种联合训练方法，将迁移学习和元学习相结合，从而在少分类、少样本以及多分类、多样本任务中均可获得更好的泛化性能。

    Sep, 2018

  • Few-shot 学习的元学习方法：最新进展综述

    该论文介绍了元学习在深度学习中的应用及其近期发展，涵盖度量、记忆、基于学习等方法，并探讨了当前的挑战和未来的研究方向。

    Mar, 2023

  • Few-Shot NMT 自适应元学习

    META-MT 提供了一种新的基于元学习的方法来适应神经机器翻译系统 (NMT)，可以使 NMT 模型很容易地适应多个领域的目标，同时需要极少量的领域数据。通过在模拟的离线元训练领域适应任务的基础上学习如何适应新的未见过的领域，我们将 NMT 系统的适应性视为元学习问题。我们在十个领域上评估了提出的元学习策略并展示了在很少的领域样例可用时，META-MT 可以显著优于经典的领域适应并且可以在只见到 4,000 个已翻译的单词 (300 对平行句子) 后比经典微调的 BLEU 指标高出多达 2.5 个点。

    Apr, 2020

  • 无需记忆的元学习

    通过信息理论设计的元正则化目标，可以使元学习器在任务训练数据和任务测试数据之间有效地适应，成功地使用来自非相互排斥任务的数据来有效地适应新任务，并在应用场景中大幅优于标准元学习算法。

    Dec, 2019

  • 元学习用于少样本时间序列分类

    利用梯度元学习方法，以残差神经网络作为元学习代理来进行少样本时间序列分类问题的模型训练，实现在少量目标任务训练样本下对来自不同领域的目标任务进行快速预测，在 UCR TSC Archive 数据集中实现较强的表现。

    Sep, 2019

  • 利用基类信息增强元训练的少样本学习

    基于元学习框架，我们提出了一种端到端训练范式，通过整个训练集的信息与元学习训练范式相互增强，以解决少样本学习中训练成本高和性能欠佳的问题。而且，我们的框架是无模型偏见的，相比基准系统提升了约 1% 的性能。

    Mar, 2024

  • 基于元度量学习的小样本学习

    本文提出一种基于元度量学习的学习方法，在 $k$-shot $N$-way 和多样化领域任务及灵活标签数量等新设置中均具有优异性能。

    Jan, 2019