Aug, 2023

少即多 —— 利用结构稀疏性构建简约的多任务模型

PDF
TL;DR将结构组稀疏性引入共享参数的多任务学习框架中，通过在共享层中使用通道级别的 l1/l2 组稀疏性，以开发出能够有效处理多个任务的简化模型，其参数更少且性能可与密集模型相媲美或更优。
发现论文，激发创造
  • 为每个任务提供所需的条件 —— 利用结构稀疏性进行个性化多任务学习

    通过引入层优化的多任务（LOMT）模型，利用结构化稀疏性来优化任务选择性特征，并提高多任务学习（MTL）框架的性能，将任务特定的解码器连接到经过策略性识别的层，实现网络的定制化架构，减少冗余，优化网络。

    Jun, 2024

  • 为多个任务学习稀疏共享架构

    研究深度多任务学习的参数共享机制，提出了一种自动发现稀疏共享结构的方法，利用子网络对多个任务进行部分重叠并行训练，取得了良好的实验效果。

    Nov, 2019

  • 稀疏激活的专家混合模型是具有鲁棒性的多任务学习器

    使用稀疏激活的专家混合模型和任务感知门控函数结合的多任务学习方法，成功地提高了模型泛化能力、转移学习效果和鲁棒性。

    Apr, 2022

  • 多任务深度神经网络的结构剪枝

    本文研究了定结构剪枝在多任务深度神经网络模型中的有效性。通过使用基于现有单任务筛选剪枝标准和基于多任务学习筛选剪枝标准，采用迭代剪枝策略进行剪枝，本文表明在参数数目相似的情况下，与快速单任务 DNN 相比，DNN 多任务可以通过精心的超参数调整实现相似的性能，迭代权重剪枝可能不是实现良好性能剪裁模型的最好方式。

    Apr, 2023

  • 多任务稀疏结构学习

    本文提出了一种新型 MTL 模型，通过交替极小化算法解决任务关系结构和任务参数的联合估计问题，应用于回归和分类问题，结合灰色图模型结构学习得出任务关系结构。在温度预测等多个数据集中，该模型展现出了显著的表现优势。

    Sep, 2014

  • 潜在多任务架构学习

    本文提出了一种基于潜在多任务体系结构的方法，该方法可以在 OntoNotes 5.0 的人造数据和数据中的多种领域和四种不同的任务中，比以往任何一种学习潜在体系结构的多任务问题方法都表现得更优秀，可以实现高达 15% 的平均误差降低率。

    May, 2017

  • 基于 Tensorized SVMs 和 LSSVMs 的低秩多任务学习

    多任务学习中使用高阶张量表示任务间的结构关系，并通过线性组合共享因子、特定因子来模拟任务关联，提出通用的基于低秩的多任务学习方法，证实了该方法在多任务学习中的有效性和优越性。

    Aug, 2023

  • GASL: 深度神经网络稀疏学习的引导注意力

    本研究提出了一种基于可解释的 attention mechanism 的网络修剪方法，能在保持准确率的前提下实现模型压缩和加速，可适用于各种结构的深度神经网络。实验证明，在 Cifar-100 数据集上取得了最高的稀疏度和加速比，与最佳方法相比准确率相当；在 MNIST 和 LeNet 架构上也取得了最高的稀疏度和加速比。

    Jan, 2019

  • DiSparse: 多任务模型压缩的解耦稀疏化

    本文提出 DiSparse 算法，一个多任务模型简化与稀疏训练方法，可分解任务，采用一致的决策进行参数修剪和选择，并在多种配置下，表现出优于常见稀疏训练和修剪方法的性能。

    Jun, 2022

  • 学习多层转换模型

    本论文研究了基于稀疏性的数据模型在信号处理和成像应用中的应用。特别关注了稀疏变换学习，提出了基于多层分层扩展的学习算法，并在图像去噪的数值实验中证明了其有效性。多层模型比单层方案具有更好的去噪质量。

    Oct, 2018