Oct, 2022

连续学习的独家超蒙版子网络训练

PDF
TL;DR通过 exclusive subnetwork training 和 KNN-based knowledge transfer 方法，我们提出了 ExSSNeT 模型，避免遗忘同时实现新任务的快速学习和知识转移，在文本分类和视觉任务中得到了比 SupSup 更好的结果。
continual learningsubnetwork trainingknowledge transfersparse maskstask learning
发现论文，激发创造
  • 叠加中的超级面罩

    介绍了一种称为 “超置换中的超蒙版”（SupSup）的神经网络模型，能够在不遗忘以前学习的任务的情况下，按顺序学习数千个任务，并通过存储各种任务的子网络来实现这一点。同时，该模型能够在保持最小内存使用的情况下，检测新任务并在运行时动态地添加新的子网络。

    Jun, 2020

  • 混合任务连续学习的子网络发现与软遮罩

    本文提出了一种新的连续学习方法，通过发现为每个任务建立子网络来解决灾难性遗忘，同时引入了软掩模机制来保留先前的知识并实现知识传递，实验结果显示该方法始终优于强基线模型。

    Oct, 2023

  • HyperMask：自适应基于超网络的掩码用于持续学习

    通过 HyperMask 方法，利用受 Lottery Ticket Hypothesis 影响的超网络产生适应新任务的半二值掩码，从而解决了人工神经网络在连续训练多个任务时遇到的灾难性遗忘问题。

    Sep, 2023

  • 混合超网络：通过架构路由的专家混合改进权重共享超网络训练

    本文提出一种新的神经结构搜索方法，即混合超网，通过引入专家混合，提供了更加专业的模型选择，并通过路由机制调整各子网络的权重，有效提高了超网模型的性能，实验表明该方法在机器翻译和 BERT 模型中均取得了优异的性能。

    Jun, 2023

  • 参数级软掩模用于连续学习

    这篇论文提出一个名为 SPG 的新技术，通过对每个参数的重要性进行软阻塞来解决在连续学习中防止灾难性遗忘、促进知识转移和解决能力问题的目标，并取得了显著的效果。

    Jun, 2023

  • 软掩码：图神经网络的自适应子结构提取

    该研究论文讨论了如何使用 soft-mask GNN 层来提取子图或层次结构等任务相关结构，以及如何通过可视化 mask 的值来深入了解模型学习到的图结构相关的内容。

    Jun, 2022

  • 签名超级口罩：保留，隐藏，反转

    本文提出了一种新颖的方法，通过权重选择和反转来训练神经网络，达到高达 99% 的剪枝率，而仍然可以匹配或超过各种基线和以前的模型的性能。

    Jan, 2022

  • 软赢子网络实现无遗忘连续学习

    提出的 WNS 和 SoftNet 方法使神经网络可以连续学习并选择从执行任务中产生的自适应二进制和非二进制子网络，该方法在任务递增学习中不会产生灾难性遗忘，并表现出比 WSN 更高的性能。

    Mar, 2023

  • SupCL-Seq: 下游优化序列表示的有监督对比学习

    本文介绍了 SupCL-Seq，这是一种扩展了计算机视觉中的监督对比学习方法，应用于优化自然语言处理中的序列表示。通过改变标准 Transformer 架构中的 dropout 掩码概率，在每个表示（锚）上生成增强的变形视图，并使用监督对比损失来最大化系统将相似样本（例如，锚和它们的变形视图）拉拢在一起并将属于其它类别的样本推开的能力。相较于标准 BERTbase 模型，在 GLUE 基准测试中的许多序列分类任务中取得了显著提升，包括 CoLA 上的 6％、MRPC 上的 5.4％、RTE 上的 4.7％和 STSB 上的 2.6％，特别是在非语义任务中，相对于自监督对比学习表示也表现出了一致增长。最后，我们展示了这些增益并不仅仅是由于数据增广，而是由于下游优化的序列表示。

    Sep, 2021

  • 持续剪枝和选择：以专业子网络进行增量式分类学习

    研究人类大脑能够通过 Continual-Prune-and-Select (CP&S) 的 subnetwork 选择策略，在不产生灾难性遗忘并能跨 subnetworks 传递知识的情况下，使 DNN 顺序学习十项任务且准确率在 94% 以上，是一项在类增量学习方面的优异结果。

    Aug, 2022