Jul, 2023

MetaDiff: 基于条件扩散的元学习用于少样本学习

PDF
TL;DR通过将极大化模型的学习能力赋予于少样本学习，即仅通过少量样本快速学习，是人工智能的一个核心挑战。本文提出了一种基于扩散模型的元学习算法 MetaDiff，通过将渐变下降优化器建模为扩散模型，并以去噪的方式对模型权重的优化过程进行建模，从而实现了高效的训练，大大减轻了内部路径的内存负担和梯度消失的风险，在少样本学习任务中优于现有的基于渐变的元学习算法家族。
few-shot learninggradient-based meta-learningdiffusion modelmetadiffdenoising
发现论文，激发创造
  • MetaDiffuser：离线 Meta-RL 的扩散模型作为条件规划器

    本文提出了一种基于任务的条件扩散规划器 (MetaDiffuser) 来解决离线 meta-RL 中通用性问题，该规划器可以生成针对任务的轨迹以在各种任务间进行规划。实验结果表明 MetaDiffuser 能够表现出优异的生成轨迹能力，优于其他离线 meta-RL 基线模型。

    May, 2023

  • ProtoDiff: 任务引导扩散学习原型网络

    ProtoDiff 是一种新框架，利用任务指导扩散模型逐步生成原型以提供有效的类别表示，从而解决了少样本学习挑战中确定原型的不确定性问题，并在领域内、领域间和少任务少样本分类上实现了新的最优性能。

    Jun, 2023

  • 隐式梯度元学习

    本文介绍一种名为隐式 MAML 的方法，用于在少量数据下实现基于梯度的元学习，能够解决通过内层优化得到的结果进行求导时的困难，从而优雅地处理多个梯度步骤，实现在少样本下的图像识别精度的提升。

    Sep, 2019

  • 元 - DM：扩散模型在小样本学习上的应用

    本文提出基于扩散模型的通用数据处理模块 Meta-DM，该模块可以简单、高效地与现有的 Few-Shot Learning 方法集成，能在监督和非监督设置下显著提高性能，实验结果表明 Meta-DM 与某些方法的组合能达到最先进的结果。

    May, 2023

  • 元转移学习用于少样本学习

    本篇论文提出了一种名为元转移学习的新型少样本学习方法，通过训练多个任务以及为每个任务学习深度神经网络权重的缩放和移位函数来实现迁移。作者使用提出的 HT 元批处理方案对 MiniImagenet 和 Fewshot-CIFAR100 这两个具有挑战性的少样本学习基准进行了实验，并将其与相关工作进行了广泛比较，结果验证了元转移学习方法的优越性和高准确性。

    Dec, 2018

  • AdaDiff：自适应步长选择的快速扩散

    AdaDiff 是一个轻量级框架，通过学习实例特定的步骤使用策略，优化了扩散模型的图像 / 视频生成过程，以最大化平衡推理时间和生成质量的回报函数，并在减少推理时间至少 33% 的情况下实现与基准方法相似的视觉质量。

    Nov, 2023

  • Few-shot 学习的元学习方法：最新进展综述

    该论文介绍了元学习在深度学习中的应用及其近期发展，涵盖度量、记忆、基于学习等方法，并探讨了当前的挑战和未来的研究方向。

    Mar, 2023

  • 无关模型的元学习用于深度网络的快速适应

    本文提出了一种模型无关的元学习算法，通过少量的训练样本，使用梯度下降算法来训练模型的参数，实现了对新学习任务的快速调整和学习，导致在少量图像分类、回归和神经网络政策优化方面表现出最先进的性能。

    Mar, 2017

  • 生成蒸馏下的扩散模型的持续学习

    借助生成性重放的扩散模型的生成蒸馏方法，可以显着提升持续学习性能，只需适度增加计算成本。

    Nov, 2023

  • 扩散模型是多任务强化学习中有效的规划器和数据生成器

    本文提出了一种基于 Transformers 和 prompt 学习的多任务扩散模型 MTDiff，利用扩散模型生成计划和数据合成，实现了跨不同多任务数据之间的隐式知识共享，并在 Meta-World 和 Maze2D 上的 50 个任务和 8 个地图中，达到了比现有算法更好的生成计划效果。

    May, 2023