多子网络假设：通过在前馈神经网络中隔离特定任务的子网络实现多领域学习

Jul, 2022

多子网络假设：通过在前馈神经网络中隔离特定任务的子网络实现多领域学习

The Multiple Subnetwork Hypothesis: Enabling Multidomain Learning by Isolating Task-Specific Subnetworks in Feedforward Neural Networks

PDF

Jacob Renn, Ian Sotnek, Benjamin Harvey, Brian Caffo

TL;DR本文阐述了神经网络在多任务学习方面的应用，介绍了神经网络过度参数化和权值修剪技术的理论基础，提出了一种新的神经网络表示结构，使得修剪神经网络可以在多个任务上实现性能提升，而不会出现遗忘或性能减少的问题。

Abstract

neural networks have seen an explosion of usage and research in the past decade, particularly within the domains of computer vision and natural language processing. However, only recently have advancements in neural net

neural networks multi-task learning overparameterized networks pruning techniques performance

发现论文，激发创造

在多任务口语语言理解模型中寻找任务特定的子网络

通过神经网络剪枝，在多任务语言理解模型中找到特定任务的子网络，实现模型压缩和在新数据上适应能力的提升。

Jun, 2024

多任务学习的分支学习

本论文提出了一种自动的多任务学习算法，通过提出一种树形结构设计空间和将树形分支操作作为 Gumbel-Softmax 采样过程，实现了可微网络分裂与优化，实现了多任务网络的有效设计。

Jun, 2020

多任务深度神经网络的结构剪枝

本文研究了定结构剪枝在多任务深度神经网络模型中的有效性。通过使用基于现有单任务筛选剪枝标准和基于多任务学习筛选剪枝标准，采用迭代剪枝策略进行剪枝，本文表明在参数数目相似的情况下，与快速单任务 DNN 相比，DNN 多任务可以通过精心的超参数调整实现相似的性能，迭代权重剪枝可能不是实现良好性能剪裁模型的最好方式。

Apr, 2023

预算感知剪枝：用较少的参数处理多个领域

通过剪枝模型，我们能够在具有多个领域的测试环境中处理更少的参数和更低的计算复杂度，从而更好地适应资源受限的设备。

Sep, 2023

使用宇宙、群组和任务特征学习的多任务网络

通过自然的相关任务分组，结合多任务学习方法，将监督信息编码到模型中，探索并实现了两种神经网络结构，分别在不同层级学习不同的特征空间，并在自然语言理解中取得了显著的性能提升。

Jul, 2019

多域深度神经网络的高效参数化

本文提出用一些适量的参数区分不同的子任务，从而在视觉领域的多个任务中进行迁移学习，此类参数化极易压缩且具有较高的性能。

Mar, 2018

HyperMask：自适应基于超网络的掩码用于持续学习

通过 HyperMask 方法，利用受 Lottery Ticket Hypothesis 影响的超网络产生适应新任务的半二值掩码，从而解决了人工神经网络在连续训练多个任务时遇到的灾难性遗忘问题。