ICMLMay, 2023

元模调制：学习变分特征层次结构，用于更少任务的少样本学习

PDF
TL;DR本文提出了一种名为 MetaModulation 的方法，在元训练过程中使用神经网络调制批量归一化参数，以提高元训练任务的密度，并通过改变不同层面的参数来增加任务的多样性，同时提出了利用变分 MetaModulation 学习变分特征层级的方法，能够考虑任务不确定性和生成更多样的任务，结果表明 MetaModulation 和其变分变体在四个 few-task meta-learning 基准测试中都优于现有技术。
发现论文，激发创造
  • 多模态元学习中使用条件批量归一化的辅助任务调节的限制

    多模态元学习中，通过语言表示来指导视觉学习的多模态架构被提出，但在两个流行的少样本分类基准上验证后发现改进效果不稳定且主要取决于桥连接网络的计算和参数引入。

    May, 2024

  • 概率模型无关元学习

    该论文提出了一种概率元学习算法，能够从模型分布中采样模型，并且在模型适应新任务时注入噪声来减少任务模糊性，实验结果表明，该方法可以在模糊的少样本学习问题中采样出可信的分类器和回归器，并且阐述了如何利用对模糊性的推理来解决活跃学习问题。

    Jun, 2018

  • 变分推断在模型无关元学习中的不确定性

    本文提出了一种新的、严谨的贝叶斯元学习算法，用于学习少样本学习的模型参数先验的概率分布。该算法采用基于梯度的变分推断来推断模型参数的后验分布。我们展示了使用我们提出的元学习算法训练的模型具有良好的校准和准确性，在两个少样本分类基准测试（Omniglot 和 Mini-ImageNet）上取得了最新的校准和分类结果，并在多模式任务分布回归中获得了有竞争力的结果。

    Jul, 2019

  • 元转移学习用于少样本学习

    本篇论文提出了一种名为元转移学习的新型少样本学习方法，通过训练多个任务以及为每个任务学习深度神经网络权重的缩放和移位函数来实现迁移。作者使用提出的 HT 元批处理方案对 MiniImagenet 和 Fewshot-CIFAR100 这两个具有挑战性的少样本学习基准进行了实验，并将其与相关工作进行了广泛比较，结果验证了元转移学习方法的优越性和高准确性。

    Dec, 2018

  • 通过任务感知调节的多模态模型无关元学习

    本文介绍了一种增强的 MAML 框架，该框架能够在多模态任务分布中识别任务模式并通过梯度更新快速适应，从而更有效地进行元学习，同时在回归、图像分类和强化学习等多种领域中进行了实验验证。

    Oct, 2019

  • 通过难度任务实现元转移学习

    本文提出了一种新颖的元转移学习（MTL）方法，通过学习每个任务的深度神经网络权重的缩放和移位函数来实现权重的转移，同时引入了硬任务元批处理方案作为有效的学习课程，对三个具有挑战性的基准数据集进行了少样本学习实验，并报告了五类少样本识别任务的最高性能，验证了 MTL 方法的有效性。

    Oct, 2019

  • 长尾识别的元特征调节器

    本文提出了一种名为 MFM 的元学习框架，通过模型学习长尾训练数据与平衡元数据之间的差异性，采用可学习的超参数来自适应地调整中间特征和分类网络参数，并在平衡的元数据的指导下对调制参数进行优化，最终在标准视觉数据集上取得了超越其他最先进方法的卓越成果，有效解决了类别不平衡问题。

    Aug, 2020

  • 带缩减的模块化元学习

    提出了一种能够自动发现并学习任务特定和通用可重用模块的元学习方法，以实现针对低数据任务的长时间自适应模型，适用于少样本 TTS 等通常存在少量数据和长时间自适应问题的领域，并在实验证明其表现优于现有元学习方法，包括 MAML，iMAML 和 Reptile。

    Sep, 2019

  • 少样本学习的交叉调制网络

    本文介绍了一种名为交叉调制网络的架构，可以利用特征调制机制在多个层次上实现支持示例和查询示例之间的交互，这种架构为少样本学习提供了一种新的方法。在 miniImageNet 的 5 路 1-shot 场景中，本文关键字提到的模型表现也达到最先进水平。

    Dec, 2018

  • Meta-ticket: 在随机初始化的神经网络中找到最佳的少样本学习子网络

    本论文提出了一种名为 Meta-ticket 的元学习方法，通过对随机初始化的神经网络进行优化，找到最佳的稀疏子网络以实现少样本学习，进而实现任务自适应能力，其效果优于基于 MAML 的方法，尤其是在大型神经网络上。

    May, 2022