IJCAIAug, 2023

深度超参数化多任务学习中的紧凑神经网络学习

PDF
TL;DR紧凑型神经网络面向多任务学习的过参数化设计以提高优化和泛化性能，通过在训练过程中对模型架构进行过参数化，并更有效地共享过参数化的模型参数，以在小参数大小和低计算成本下获得与更复杂和强大架构相同或更好的模型性能。在两个具有挑战性的多任务数据集（NYUv2 和 COCO）上的实验证明了所提方法在各种卷积网络和参数大小下的有效性。
compact neural networkmultitask learningoverparameterisationmodel architectureparameter sizes
发现论文，激发创造
  • ExpandNets：利用线性过参数化训练紧凑卷积网络

    本文介绍了一种利用过参数化的方法来训练紧凑型神经网络的方法，通过将紧凑型神经网络的线性层扩展成多个连续的线性层，而不添加非线性化，形成扩展网络 ExpandNet，可在推理时代数地缩小回紧凑型神经网络。我们提出了两种卷积扩展策略，并在图像分类、目标检测和语义分割等任务上展示了他们的优势，证明了我们的方法优于从头开始训练紧凑型网络和从教师进行知识蒸馏。此外，我们通过实验证明了过参数化可减少训练时的梯度混淆，提高网络的泛化能力。

    Nov, 2018

  • 一次参数训练，多任务学习与迁移学习

    本文介绍了一种基于小参数集合的深度神经网络迁移学习和多任务学习的新方法，通过调整网络中的特定组件使其适应不同任务，以达到在多个任务中共享参数并且性能表现良好的目的。

    Oct, 2018

  • 通过低维度学习动力学高效压缩超参数化深度模型

    通过研究过度参数化的深度网络的学习动力学，我们揭示了各种体系结构的权重矩阵展现出低维结构，我们利用这些洞见通过减小中间层的宽度来压缩深度线性网络，实验证明这种压缩技术能够加速训练过程超过两倍，而不牺牲模型质量。

    Nov, 2023

  • 多任务网络中的全自适应特征共享及其在个人属性分类中的应用

    本文提出了一种以紧凑的多任务深度学习架构为设计目标的方法，使用一种推动类似任务聚集的新标准在训练期间贪心地扩大网络，以优化多任务学习的泛化性能并在人员属性分类任务中取得最先进的精度。

    Nov, 2016

  • 潜在多任务架构学习

    本文提出了一种基于潜在多任务体系结构的方法，该方法可以在 OntoNotes 5.0 的人造数据和数据中的多种领域和四种不同的任务中，比以往任何一种学习潜在体系结构的多任务问题方法都表现得更优秀，可以实现高达 15% 的平均误差降低率。

    May, 2017

  • 通过学习参数分配实现灵活的多任务网络

    本文提出了一种新颖的多任务学习方法，其中借助了多任务神经网络的参数共享，通过学习精细的参数共享模式来提高模型性能，该模式通过二进制变量实现，与模型参数共同反向传播学习，并在 Omniglot 基准测试中实现了 17％相对误差减小。

    Oct, 2019

  • 轻度过参数化神经网络能够高效地记忆训练数据

    本文研究发现，为了在过量参数化情况下实现 100％ 的准确率，神经网络可以训练出能够完美记忆训练数据的能力，即使在神经元数量要远小于训练样本数量的情况下依旧适用。

    Sep, 2019

  • 多域深度神经网络的高效参数化

    本文提出用一些适量的参数区分不同的子任务，从而在视觉领域的多个任务中进行迁移学习，此类参数化极易压缩且具有较高的性能。

    Mar, 2018

  • muNet: 将预训练的深度神经网络进化为可扩展的自动调整多任务系统

    采用预训练深度神经网络层作为基块构建多任务学习系统，通过动态选择相关的先验知识、模型参数和超参数进行自动调优，控制模型规模实现高质量模型与较小的规模之间的权衡，并在 10 个多样化的图像分类任务中，相对于标准调优，提高了平均精度 2.39％而使用了每个任务 47％ 以上的参数。

    May, 2022

  • 使用误差反向传播学习神经网络架构

    研究了深度神经网络中参数数量的问题，提出了一种可学习的三态 ReLU 参数和一个平稳的正则化方法，通过减少不必要的神经元，可以在不影响预测准确性的情况下显著减少参数数量。

    Nov, 2015