学习何处学习：元学习和持续学习中的梯度稀疏性

Oct, 2021

学习何处学习：元学习和持续学习中的梯度稀疏性

Learning where to learn: Gradient sparsity in meta and continual learning

Johannes von Oswald, Dominic Zhao, Seijin Kobayashi, Simon Schug, Massimo Caccia...

TL;DR通过使用稀疏梯度下降的元学习方法，可以改善神经网络权重初始化的泛化能力，从而实现少量权重改变导致低泛化误差，并且这种选择性稀疏性机制使得元学习在 Few-shot 和 Continual 学习等问题上更加高效。

Abstract

Finding neural network weights that generalize well from small datasets is difficult. A promising approach is to learn a weight initialization such that a small number of weight changes results in low generalization error. We show that this form of →

neural network weights meta-learning sparse gradient descent few-shot learning continual learning

发现论文，激发创造

截断梯度稀疏在线学习

这篇论文提出了一种新方法，称为截断梯度 (truncated gradient)，可以在凸损失函数的在线学习算法中诱导稀疏性，该方法具有连续控制稀疏化程度的参数，类似于 $L_1$ 正则化方法，理论上可以证明小的稀疏化率仅会导致额外的小代价，并且在实践中取得了良好的效果。

Jun, 2008

通过自适应稀疏连接提高深度学习的泛化能力

本文中，我们提出了一种基于稀疏连接的神经网络模型，使用自适应稀疏连接和纯化神经元的方法进行训练，并将其应用于 MLP 模型上，测试结果表明，该方法在 15 个数据集上表现出了竞争性的分类和泛化性能。

Jun, 2019

当元学习遇上在线和持续学习：一项综述

通过提供一份综合调查报告，有组织地使用一致的术语和形式描述，本文旨在促进这个有前景的研究领域的进一步发展。

Nov, 2023

扰动梯度以缓解元过拟合

通过增加任务的多样性和降低模型对某些任务的置信度，本论文提出了解决元过拟合问题的几种方法，并在少样本学习环境中展示出了改进的泛化性能。

May, 2024

始终稀疏训练：引导随机探索下的连接增长

现代人工神经网络的过多计算需求为可以运行它们的机器带来了限制。我们提出一种高效的、始终稀疏训练算法，具有一流的大规模和更稀疏模型的线性时间复杂度，并通过引导随机探索算法改善了先前稀疏训练方法的准确性。

Jan, 2024

Meta-ticket: 在随机初始化的神经网络中找到最佳的少样本学习子网络

本论文提出了一种名为 Meta-ticket 的元学习方法，通过对随机初始化的神经网络进行优化，找到最佳的稀疏子网络以实现少样本学习，进而实现任务自适应能力，其效果优于基于 MAML 的方法，尤其是在大型神经网络上。

May, 2022

基于梯度元学习的泛化理解探索

本文研究了神经网络在基于梯度的元学习中的泛化问题，分析了目标景观的各种特性，提出了一种新的正则化方法以增强模型的泛化能力。实验表明，在元训练提供的元解决方案的基础上，通过几步基于梯度的微调适应元训练模型到新任务时，所得到的元测试解决方案变得越来越平坦，损失更低，并且远离元训练解决方案。

Jul, 2019

无需记忆的元学习

通过信息理论设计的元正则化目标，可以使元学习器在任务训练数据和任务测试数据之间有效地适应，成功地使用来自非相互排斥任务的数据来有效地适应新任务，并在应用场景中大幅优于标准元学习算法。

Dec, 2019

一种用于定制模型训练的元学习方法

本文提出了一种联合训练方法，将迁移学习和元学习相结合，从而在少分类、少样本以及多分类、多样本任务中均可获得更好的泛化性能。

Sep, 2018

学习解离因果机制的元转移目标

利用元学习方法，基于快速适应新分布的速度，学习因果结构，包括因果关系的参数化，模块化和编码等方面，以提高对非标准干预的快速适应能力和降低重学需要的信息量。

Jan, 2019