Jun, 2020

叠加中的超级面罩

PDF
TL;DR介绍了一种称为 “超置换中的超蒙版”（SupSup）的神经网络模型，能够在不遗忘以前学习的任务的情况下，按顺序学习数千个任务，并通过存储各种任务的子网络来实现这一点。同时，该模型能够在保持最小内存使用的情况下，检测新任务并在运行时动态地添加新的子网络。
supermasks in superpositionsequential learningcatastrophic forgettingsubnetworkshopfield network
发现论文，激发创造
  • 连续学习的独家超蒙版子网络训练

    通过 exclusive subnetwork training 和 KNN-based knowledge transfer 方法，我们提出了 ExSSNeT 模型，避免遗忘同时实现新任务的快速学习和知识转移，在文本分类和视觉任务中得到了比 SupSup 更好的结果。

    Oct, 2022

  • HyperMask：自适应基于超网络的掩码用于持续学习

    通过 HyperMask 方法，利用受 Lottery Ticket Hypothesis 影响的超网络产生适应新任务的半二值掩码，从而解决了人工神经网络在连续训练多个任务时遇到的灾难性遗忘问题。

    Sep, 2023

  • 签名超级口罩：保留，隐藏，反转

    本文提出了一种新颖的方法，通过权重选择和反转来训练神经网络，达到高达 99% 的剪枝率，而仍然可以匹配或超过各种基线和以前的模型的性能。

    Jan, 2022

  • 软掩码：图神经网络的自适应子结构提取

    该研究论文讨论了如何使用 soft-mask GNN 层来提取子图或层次结构等任务相关结构，以及如何通过可视化 mask 的值来深入了解模型学习到的图结构相关的内容。

    Jun, 2022

  • 三值特征掩码：零遗忘的任务增量学习

    本文提出了一种基于三元掩码和任务特定功能归一化的持续学习方法，旨在避免灾难性遗忘、反向传递，并在不影响之前任务的情况下掌握新任务，该方法在减少内存开销的同时表现出优于现有方法的最新技术水平。

    Jan, 2020

  • UniMASK: 顺序决策问题中的统一推理

    本研究介绍了一种名为 UniMASK 的框架，利用序列掩蔽的方式，提供了一种统一的方式来指定可以用于多种不同序列决策任务的模型。经过微调后，我们的 UniMASK 模型能够在许多任务上表现非常好，甚至比单任务模型表现更好。

    Nov, 2022

  • 掩蔽连体卷积网络

    本文研究掩蔽 Siamese 网络在卷积神经网络下的问题，并提出多个经验设计来逐渐解决这些问题。该方法在低样本图像分类上表现有竞争力，并在目标检测基准测试中优于以前的方法。

    Jun, 2022

  • 参数级软掩模用于连续学习

    这篇论文提出一个名为 SPG 的新技术，通过对每个参数的重要性进行软阻塞来解决在连续学习中防止灾难性遗忘、促进知识转移和解决能力问题的目标，并取得了显著的效果。

    Jun, 2023

  • MOCA：通过预测掩码在线码书分配进行自监督表示学习

    提出了一种单阶段且独立的方法 MOCA，用高层特征定义新颖的掩码和预测目标，有效地结合了自我监督学习的两种范式，在低样本设置下取得了新的最先进结果，并且训练速度至少比之前的方法快 3 倍。

    Jul, 2023

  • Piggyback: 学习掩蔽权重以将单一网络适应于多个任务

    本文提出了一种方法，通过二进制掩码的方式嫁接在已有的神经网络上，从而实现在新任务上达到较好性能的同时不影响旧任务的性能，该方法基于网络量化和剪枝的思想，以端对端可微的方式学习掩码，能够像微调网络一样学习大量的滤波器，适用于大规模分类，性能稳定、无遗忘现像，且任务顺序不影响性能。

    Jan, 2018