Jul, 2018

潜在嵌入优化的元学习

PDF
TL;DR本文提出了一种称为 Latent Embedding Optimization (LEO) 的方法，通过学习基于数据的潜在生成表示和在低维潜在空间中进行梯度元学习，以解决基于梯度的元学习在高维参数空间中的实际困难。实验结果表明，LEO 在 miniImageNet 和 tieredImageNet 几个少样本学习任务上表现优异，并能够更有效地执行调整，同时也能捕捉数据中的不确定性。
meta-learningfew-shot learninglatent embedding optimizationhigh-dimensional parameter spacesdata-dependent
发现论文，激发创造
  • 可微凸优化的元学习

    提出了一种名为 MetaOptNet 的元学习方法，该方法使用线性预测器作为基本学习器来学习用于少样本学习的表示，并表现出了在一系列少样本识别基准测试中，在特征大小和性能之间提供更好的折衷方案，并取得了最先进的性能。

    Apr, 2019

  • 隐式梯度元学习

    本文介绍一种名为隐式 MAML 的方法，用于在少量数据下实现基于梯度的元学习，能够解决通过内层优化得到的结果进行求导时的困难，从而优雅地处理多个梯度步骤，实现在少样本下的图像识别精度的提升。

    Sep, 2019

  • 具有学习层度量和子空间的基于梯度的元学习

    本文介绍了一种利用 MT-net 进行梯度下降的元学习方法，并通过任务特异性学习实现梯度下降，从而在少样本分类和回归任务上实现了最先进的效果。

    Jan, 2018

  • 带潜在变量高斯过程的元强化学习

    利用层级潜变量模型，自动推断任务之间的关系并应用于模型强化学习中，从而实现在小规模数据集上的元学习，有效提高数据利用率，解决新任务的平均交互时间缩短高达 60%。

    Mar, 2018

  • 跨多种自然语言分类任务学习少样本学习

    LEOPARD 是一种基于元学习的方法，使用少量标记的数据可优化跨任务进行学习，适用于 NLP 分类任务中的不同类数，并表现出比自监督预训练或多任务训练更好的泛化能力。

    Nov, 2019

  • 大型图像的高效元学习

    提出了一种称为 LITE 的新的元学习方法，通过在训练集中使用一个随机子集来近似全梯度，进而使得此方法既能在单个 GPU 上训练大任务和图像，又能实现对于实际测试数据和较复杂测试集的准确和高效的元学习。

    Jul, 2021

  • 基于生成模型中的潜空间插值实现无监督元学习

    本文提出一种基于生成模型的元任务生成方法，称为 LAtent Space Interpolation Unsupervised Meta-learning (LASIUM)，通过从潜在空间中生成分组成群的对象，构建元任务的训练和验证数据，应用于少样本分类任务中的实验表明其性能优于或与当前无监督学习基线相竞争，并且该方法不需要手工调整，扩展性高。

    Jun, 2020

  • 可扩展且泛化的学习优化器

    通过引入层次循环神经网络优化算法和基于元学习的小任务集，实现了一个新的学习梯度下降优化器，解决了在更大的问题上扩展能力不足和泛化能力受限问题，并在 ImageNet 数据集上通过数千步为 Inception V3 和 ResNet V2 架构进行了优化。

    Mar, 2017

  • 学习几何词元嵌入

    本文提出了一个几何框架，用于学习来自不同嵌入源的单词元嵌入。该框架将嵌入转换为共同的潜空间，这使得对给定单词的不同嵌入进行简单平均更加易于处理。通过两种特定的几何变换（正交旋转和马氏度量缩放），得到了提出的潜空间。在几个单词相似性和类比测试中的实证结果说明了提出的框架的有效性。

    Apr, 2020

  • Few-shot 优化的广义强化元学习

    提出了一种基于强化学习和元学习的框架来解决 few-shot learning 问题，通过稳定的损失函数来学习最佳的优化算法，从而实现了对参数的更新。实验结果表明该方法在准确率和 NDCG 指标上均超过了现有的替代方法，并且可扩展到网络结构搜索。

    May, 2020