Jun, 2023

通过元梯度增强改善元学习的泛化能力

PDF
TL;DR本文从梯度规范化的角度出发，提出了一种数据无关的元梯度增强 (MGAug) 方法，通过网络修剪来打破背诵性记忆，并探讨了三种修剪策略，实验表明该方法在多个 few-shot 学习基准测试中显著提高了性能
meta-learninggradient regularizationdata-independentnetwork pruningfew-shot learning
发现论文，激发创造
  • 用元学习生成模型正则化神经网络

    该研究论文探讨了提高深度学习的生成数据增强方法。通过利用生成模型产生的合成样本作为附加的小数据集进行分类，生成数据增强能够改善分类效果。研究中提出了一种名为元生成正则化（MGR）的生成数据增强策略，通过在特征提取器的正则化项中使用合成样本来避免性能下降。实验结果表明，MGR 在小数据集上表现优异，有效地提高了基准性能。

    Jul, 2023

  • 基于元学习的信息图增强引导方法

    本文提出通过可学习的图形增强器 MEGA 来生成具有均匀性和信息性的图形增强，有效提高了自我监督学习任务中图形对比学习方法的特征表示能力，并通过多个基准数据集的实验证明了其优越性。

    Jan, 2022

  • 通过任务增强提高元学习的泛化能力

    该研究提出了 MetaMix 和 Channel Shuffle 等两种元学习任务增广方法，以提高元学习的泛化能力。实验结果显示这两种方法都能显著提高元学习在多个数据集上的表现，并且与现有元学习算法兼容。

    Jul, 2020

  • 元学习需要元增强

    本文提出了 Meta-Learning 中的过拟合问题，并使用信息理论框架讨论基于元学习数据增强的方法来解决这个问题。实验证明，该方法对最近提出的元规则技术有很大的补充作用。

    Jul, 2020

  • 元梯度对抗攻击

    本文提出了一种名为 Meta Gradient Adversarial Attack（MGAA）的新型结构，采用元学习的思想，插入攻击方法以提高跨模型的传递性，通过缩小白盒和黑盒攻击之间的梯度方向差距来改善黑盒设置下的对抗样本的传递性。在 CIFAR10 和 ImageNet 数据集上的实验结果表明，本文所提出的结构在黑盒和白盒攻击设置方面胜过了现有的最先进方法。

    Aug, 2021

  • 基于梯度元学习的泛化理解探索

    本文研究了神经网络在基于梯度的元学习中的泛化问题，分析了目标景观的各种特性，提出了一种新的正则化方法以增强模型的泛化能力。实验表明，在元训练提供的元解决方案的基础上，通过几步基于梯度的微调适应元训练模型到新任务时，所得到的元测试解决方案变得越来越平坦，损失更低，并且远离元训练解决方案。

    Jul, 2019

  • 梯度增强的合作式元学习

    CML 是一种合作元学习框架，它通过向模型梯度中注入可学习的噪声进行模型泛化，而且引入无内部更新但有外部循环更新的合作学习者来增强梯度以获得更好的元初始化参数。CML 适用于梯度为基础的元学习方法，在少样本回归、少样本图像分类和少样本节点分类任务中表现出更好的性能。

    Jun, 2024

  • 基于 Metropolis-Hastings 数据增强的图神经网络

    该论文提出了一种名为 Metropolis-Hastings Data Augmentation（MH-Aug）的新型框架，利用 Metropolis-Hastings 算法从一个显式目标分布中抽取增强的图形，实现对图形神经网络进行半监督学习，从而改善了 GNN 的性能。

    Mar, 2022

  • 元学习的数据增强

    本研究针对图像分类器的训练方法进行了探讨，通过元学习算法对支持数据、查询数据和任务进行复杂的抽样，利用数据增强方法不仅可增加每个类别的图片数量，还可生成全新的类别和任务，提高了元学习器在少样本分类基准上的性能。

    Oct, 2020

  • 无关模型的元学习用于深度网络的快速适应

    本文提出了一种模型无关的元学习算法，通过少量的训练样本，使用梯度下降算法来训练模型的参数，实现了对新学习任务的快速调整和学习，导致在少量图像分类、回归和神经网络政策优化方面表现出最先进的性能。

    Mar, 2017