基于记忆的参数适应

ICLRFeb, 2018

Memory-based Parameter Adaptation

Pablo Sprechmann, Siddhant M. Jayakumar, Jack W. Rae, Alexander Pritzel, Adrià Puigdomènech Badia...

TL;DR通过存储案例，使用基于上下文的查找直接修改神经网络的权重，以 Memory-based Parameter Adaptation 为核心的方法，可以在监督任务中有效地改善深度神经网络的性能和训练速度。

Abstract

deep neural networks have excelled on a wide range of problems, from vision to language and game playing. Neural networks very gradually incorporate information into weights as they process data, requiring very low learning rates. If the training distribution shifts, the network is slo

deep neural networks parameter adaptation memory-based approach supervised tasks learning rates

发现论文，激发创造

神经网络中应用参数重用克服灾难性遗忘

本文提出了一种名为 AdaptCL 的自适应学习方法，该方法通过参数再利用和增长来克服灾难性遗忘，并允许积极的后向传递，同时不需要数据集标签。

Jul, 2022

快速参数化学习与激活记忆

本文提出了一种使用外部存储器的快速学习非参数模型来弥补神经网络在识别已出现少数次分类时的性能瓶颈的方法，改进了一些图像分类和语言模型任务的性能表现。

Mar, 2018

建模内部类别变化进行持续学习

本篇研究论文介绍了记忆基础连续学习的特点和不足，并提出加强表示差异化的两种扰动方法，以改进连续学习的性能，最终基于大量实证研究结果成功验证了我们的结论。

Oct, 2022

记忆增强神经网络的单次学习

本研究证明了增强记忆功能的神经网络具有快速吸纳新数据和利用数据进行准确预测的能力，并介绍了一种基于内容而不是基于位置的外部记忆访问方法。

May, 2016

神经网络语言模型的增量适应策略

本文提出了两种优化神经网络语言模型适应新数据的方法，包括在重新采样数据上进行继续训练或插入适应性层。在 CAT 环境中应用于 SMT 系统中，这两种方法均取得了显著的改进。

Dec, 2014

时间、内存和参数高效的视觉适应

我们提出了一个不需要反向传播梯度的适应方法，该方法在参数、训练时间和内存使用方面都非常高效，并且在 VTAB 基准测试中实现了极好的准确性 - 参数折衷，并展示了在视频分类等计算密集型任务中对于训练效率和可扩展性上的优越性。

Feb, 2024

轻度过参数化神经网络能够高效地记忆训练数据

本文研究发现，为了在过量参数化情况下实现 100％的准确率，神经网络可以训练出能够完美记忆训练数据的能力，即使在神经元数量要远小于训练样本数量的情况下依旧适用。

Sep, 2019

适应性神经网络的高效推理

通过自适应选取深度神经网络组件或网络进行评估，可以在不损失准确性的情况下，显著减少计算时间，例如在 ImageNet 图像识别挑战中，最多可加速 2.8 倍，并且仅有最高 5 个命中率的轻微损失。

Feb, 2017

有条件偏移神经元的快速适应

描述了一种人工神经网络能够学习快速适应新任务的机制，称为条件移位神经元，并将其应用在元学习中以实现机器学习的某些灵活性，从任务经验收集的特定位移修改神经元的激活值。在视觉和语言领域的元学习基准测试中，增强了条件移位神经元的模型实现了最先进的结果。

Dec, 2017

深度适应实现增量学习

提出了一种名为 Deep Adaptation Networks 的方法，通过在现有神经网络中添加线性组合的新滤波器来实现学习新技能，而不影响已经学习的性能，以及在各种图像分类任务中表现出良好的效果。

May, 2017