Apr, 2023

利用必不可少的连接学习如何学习

PDF
TL;DR提出一种名为 Meta-LTH 的新型元学习方法，使用 magnitude pruning 科技进行必要连接的生成，其可有效解决 few-shot learning 问题，该方法通过学习新的低级特征并在元测试阶段重新组合这些特征来更加自适应地进行元学习，实验结果表明，在三个不同的分类数据集中，该方法的性能优于现有一阶 MAML 算法，omniglot 数据集的分类准确率提高了约 2%（20-way 1-shot task setting） .
meta-learningfew-shot learningneural networkmagnitude pruningadaptivity
发现论文，激发创造
  • 无需记忆的元学习

    通过信息理论设计的元正则化目标，可以使元学习器在任务训练数据和任务测试数据之间有效地适应，成功地使用来自非相互排斥任务的数据来有效地适应新任务，并在应用场景中大幅优于标准元学习算法。

    Dec, 2019

  • Meta-ticket: 在随机初始化的神经网络中找到最佳的少样本学习子网络

    本论文提出了一种名为 Meta-ticket 的元学习方法，通过对随机初始化的神经网络进行优化，找到最佳的稀疏子网络以实现少样本学习，进而实现任务自适应能力，其效果优于基于 MAML 的方法，尤其是在大型神经网络上。

    May, 2022

  • 元网络

    本文介绍了一种新的元学习方法 Meta Networks（MetaNet），它通过快速参数化学习跨任务的元级知识，并在新概念上进行快速泛化，同时保持了以前所学的性能表现，在 Omniglot 和 Mini-ImageNet 基准测试中，我们的 MetaNet 模型实现了接近人类水平的表现，并在准确性上优于基线方法高达 6％。我们展示了 MetaNet 的几个有吸引力的性质，如泛化和持续学习。

    Mar, 2017

  • 元转移学习用于少样本学习

    本篇论文提出了一种名为元转移学习的新型少样本学习方法，通过训练多个任务以及为每个任务学习深度神经网络权重的缩放和移位函数来实现迁移。作者使用提出的 HT 元批处理方案对 MiniImagenet 和 Fewshot-CIFAR100 这两个具有挑战性的少样本学习基准进行了实验，并将其与相关工作进行了广泛比较，结果验证了元转移学习方法的优越性和高准确性。

    Dec, 2018

  • 通过难度任务实现元转移学习

    本文提出了一种新颖的元转移学习（MTL）方法，通过学习每个任务的深度神经网络权重的缩放和移位函数来实现权重的转移，同时引入了硬任务元批处理方案作为有效的学习课程，对三个具有挑战性的基准数据集进行了少样本学习实验，并报告了五类少样本识别任务的最高性能，验证了 MTL 方法的有效性。

    Oct, 2019

  • 元图：元学习的少样本链接预测

    本文提出了一种基于元学习的 Meta-Graph 框架，该框架使用高阶梯度以及一个条件生成图神经网络初始化的学习图签名函数，可以在少量训练数据的情况下快速适应新图，并在收敛时获得更好的结果。

    Dec, 2019

  • 深度神经网络的元学习损失函数

    探索利用元学习概念来改善性能，尤其是通过损失函数这个常常被忽视的组成部分。损失函数是学习系统的重要组成部分，它代表了主要的学习目标，在系统成功优化该目标的能力上进行了量化。

    Jun, 2024

  • Few-shot 学习的元学习方法：最新进展综述

    该论文介绍了元学习在深度学习中的应用及其近期发展，涵盖度量、记忆、基于学习等方法，并探讨了当前的挑战和未来的研究方向。

    Mar, 2023

  • 跨越多任务学习和元学习：迈向高效训练和有效适应

    本论文研究了多任务学习（MTL）与基于梯度的元学习（GBML）之间的关系，通过理论和实证研究证明了它们在优化公式和学习到的预测函数上的相似性，并通过样例展示了 MTL 作为一阶方法可以代替计算代价高的二阶方法 ——GBML，在大规模数据集上训练时更加有效。

    Jun, 2021

  • 基于多任务元学习的数据高效脑连接组分析

    通过元学习技术，在跨数据集的情况下，训练大规模的大脑连通性图谱数据集，提出了基于元学习的数据高效训练策略，并通过图神经网络框架，包括变换式的跨数据集任务权重自适应等，得到了更高效和更稳定的性能，为了更好地研究疾病间和数据集间的相似性，提出了新的见解。

    Jun, 2022