NIPSJun, 2018

具有线性抵消的元学习器

PDF
TL;DR本研究提出了一种利用线性转换器的元学习算法，该算法进行神经网络输出的零空间投影。其主要思想是构造一种替代分类空间，使得在 few-shot 学习期间，错误信号可以在该空间上迅速归零，从而实现低数据的可靠分类。查询的最终决策是利用网络输出和参考向量之间的空间投影距离来获得的，这两者都是在初始学习阶段中训练的。在给定模型大小的已知方法中，我们的元学习器在 Omniglot 和 miniImageNet 数据集上实现了最佳或接近最佳的图像分类精度。
发现论文，激发创造
  • 可微凸优化的元学习

    提出了一种名为 MetaOptNet 的元学习方法，该方法使用线性预测器作为基本学习器来学习用于少样本学习的表示，并表现出了在一系列少样本识别基准测试中，在特征大小和性能之间提供更好的折衷方案，并取得了最先进的性能。

    Apr, 2019

  • 适应性边际的元学习三元组网络用于少样本命名实体识别

    本文提出了 MeTNet 方法，使用三元组网络映射样本和原型向量到低维空间，通过自适应的边缘控制实体类型，实现了准确的 few-shot 命名实体识别。

    Feb, 2023

  • Few-shot 优化的广义强化元学习

    提出了一种基于强化学习和元学习的框架来解决 few-shot learning 问题，通过稳定的损失函数来学习最佳的优化算法，从而实现了对参数的更新。实验结果表明该方法在准确率和 NDCG 指标上均超过了现有的替代方法，并且可扩展到网络结构搜索。

    May, 2020

  • 半监督少样本分类的元学习

    本研究致力于发展一种在少量标记数据情况下对未标记数据进行分类的方法并提出一种新型 Prototypical Networks 和一种使用未标记数据的元学习算法来解实际问题，经过对 Omniglot、miniImageNet 和 ImageNet 进行实验，验证了这些算法可以使预测结果得到显著改进。

    Mar, 2018

  • 通过迭代零空间投影来保护受保护属性

    我们提出了一种名为迭代零空间投影 (INLP) 的新方法，它基于线性分类器的训练，通过在空间中进行映射，以消除神经表示中的特定属性，并减少了词嵌入中的偏见，提高了多类分类的公平性。

    Apr, 2020

  • 深度元学习：在概念空间中学习学习

    通过引入深层元学习作为组成部分，将深度学习的表示能力融入到元学习中，通过建立一个刻画高级概念的表征空间，可以有效地改进原先的元学习算法，从而实现对于各种少样本图像识别问题中识别率的提升。

    Feb, 2018

  • 跨视角多视图零样本学习

    本文提出了一种解决零样本学习中投影域偏移和原型稀疏性问题的新框架，即传导多视图嵌入法，并提出了异构多视图超图标签传播方法，旨在通过多种语义表示结构的协同作用，有效利用不同语义表示的补充信息，解决多个数据集的分类问题。

    Jan, 2015

  • 自我监督元学习用于少样本自然语言分类任务

    本文提出了一种自监督的方法来生成大量的 meta-learning 任务分布，通过这种方法，将 transformer 模型的预训练与 meta-learning 相结合，证明了这种方法能够在 NLP 任务上实现更好的少样本泛化。

    Sep, 2020

  • 基于迁移学习的少样本分类：利用预处理过的骨干神经网络潜空间进行最优输运映射

    本研究介绍了在 MetaDL Challenge 2020 中排名第二的基于元学习的方法，在少量标注数据的情况下，通过修改隐空间中每个类别的分布来更好地对齐高斯分布，并利用期望最大化算法进一步对齐类别中心，使用 Sinkhorn 算法的最优传输映射。实验证明，该方法优于先前的研究以及使用 KNN 算法、高斯混合模型等其他算法的变体。

    Feb, 2021

  • 元转移学习用于少样本学习

    本篇论文提出了一种名为元转移学习的新型少样本学习方法，通过训练多个任务以及为每个任务学习深度神经网络权重的缩放和移位函数来实现迁移。作者使用提出的 HT 元批处理方案对 MiniImagenet 和 Fewshot-CIFAR100 这两个具有挑战性的少样本学习基准进行了实验，并将其与相关工作进行了广泛比较，结果验证了元转移学习方法的优越性和高准确性。

    Dec, 2018