LSTMs 能否有效地进行少样本学习？

KDDOct, 2023

LSTMs 能否有效地进行少样本学习？

Are LSTMs Good Few-Shot Learners?

Mike Huisman, Thomas M. Moerland, Aske Plaat, Jan N. van Rijn

TL;DR深度学习需要大量数据来学习新任务，限制了其适用于数据充足的领域。元学习通过学习如何学习克服了这一限制。我们重新审视了元学习方法并在现代少样本学习基准上进行了测试。我们发现，在简单的少样本正弦波回归基准上，LSTM 意外地优于流行的元学习技术 MAML，但在更复杂的少样本图像分类基准上 LSTM 的表现较差。我们确定了两个潜在原因，并提出了一种解决这些问题的新方法，称为外积 LSTM（OP-LSTM）。与流行的元学习基线相比，OP-LSTM 在领域内少样本图像分类方面具有有竞争力的性能，在跨领域设置中的准确度得分提高了 0.5％到 1.9％。虽然这些结果本身并没有创造新的最先进技术，但 OP-LSTM 的进展与元学习领域的其他进展是相互独立的，并在图像分类中提供了新的洞察力，为一系列新的研究方向打开了可能性。为了可重复性的目的，我们公开发布了所有的研究代码。

Abstract

deep learning requires large amounts of data to learn new tasks well, limiting its applicability to domains where such data is available. meta-learning overcomes this limitation by learning how to learn. In 2001,

deep learning meta-learning lstm few-shot learning image classification

发现论文，激发创造

元转移学习用于少样本学习

本篇论文提出了一种名为元转移学习的新型少样本学习方法，通过训练多个任务以及为每个任务学习深度神经网络权重的缩放和移位函数来实现迁移。作者使用提出的 HT 元批处理方案对 MiniImagenet 和 Fewshot-CIFAR100 这两个具有挑战性的少样本学习基准进行了实验，并将其与相关工作进行了广泛比较，结果验证了元转移学习方法的优越性和高准确性。

Dec, 2018

Few-shot 学习的元学习方法：最新进展综述

该论文介绍了元学习在深度学习中的应用及其近期发展，涵盖度量、记忆、基于学习等方法，并探讨了当前的挑战和未来的研究方向。

Mar, 2023

元学习用于少样本时间序列分类

利用梯度元学习方法，以残差神经网络作为元学习代理来进行少样本时间序列分类问题的模型训练，实现在少量目标任务训练样本下对来自不同领域的目标任务进行快速预测，在 UCR TSC Archive 数据集中实现较强的表现。

Sep, 2019

元学习中的 Meta-SGD：快速学习少样本学习

本文介绍 Meta-SGD，一种高容量，容易训练的元学习器，可以在监督学习和强化学习中初始化和适应任何可微分的学习器，在单次元学习过程中学习学习器初始化、更新方向和学习率，相较于 LSTM 和 MAML 在少样本学习上表现更加具有竞争性。

Jul, 2017

元学习器的学习动力与学习者不同

本文研究了基于元学习的 LSTM 元学习器学习动态在三类结构化任务上的学习轨迹，揭示了其学习速度更快、学习轨迹更加符合 Bayes 最优推断算法的特点，这对于以学习行为自身为研究重点的领域，例如安全、课程设计和人机协同机器学习具有重要意义。

May, 2019

元线性：探索针对少样本学习的简单元学习

本文探讨了在整个标签集上进行全分类的简单方法，并通过此方法在多个基准测试中取得了与现有技术相当的表现。同时，本文还对元学习与全分类目标在少样本学习中的权衡进行了深入分析。

Mar, 2020

复用预训练模型进行鲁棒的领域外少样本学习

本文提出一种在没有访问元培训练集的情况下，利用预训练 MAML 检查点来解决新的 few-shot 分类任务的方法，通过结合对抗训练和基于不确定性的步长适应，以及对算法进行改进，在 SGD 和 Adam 优化器上，在同一领域和跨领域基准测试中优于 “基准” MAML，并表现出对基础步长的选择具有更好的鲁棒性。

Mar, 2021

如何训练你的 MAML

本文提出了针对模型无关元学习（MAML）进行各种修改的方法，提出了 MAML++，它稳定了系统，并大大提高了 MAML 的泛化性能、收敛速度和计算开销。

Oct, 2018

如何训练你的 MAML 在少样本分类领域表现卓越

在 Few-shot classification 这个问题上，我们探究了如何训练 MAML 表现得更美好，发现 MAML 需要大量的梯度步骤才能适应少样本分类，敏感于试验时分类标签的赋值，本文提供了多种方法解决其排列不变性。我们命名为 UNICORN-MAML 的方法在 MiniImageNet 和 TieriImageNet 等基准数据集上表现良好，并与许多最新的少样本分类算法不相上下，而不损失 MAML 的简单性。

Jun, 2021

基于元 Dropout 的统一框架用于小样本学习

本研究提出了一种基于元学习框架的元学习 Few-Shot Learning 方法，其中利用一种简单而有效的元 Dropout 机制，防止神经元在元训练阶段过度协同。实验验证了该方法在目标检测领域的有效性。

Oct, 2022