ICMLApr, 2023

使用本地任务相似性引导的神经元创建和删除的多任务结构学习

PDF
TL;DR本文使用 Multi-Task Structural Learning (MTSL) 框架，提出一种同时学习多任务架构及其参数的方法，能够有效提高模型的泛化性能和鲁棒性。通过交替学习任务学习和结构学习两个阶段，并将相似任务先合并在一个组层中再移除的方式优化模型性能。实验表明，MTSL 方法在多个基准数据集上均取得了竞争性的泛化性能和鲁棒性。
multi-task learningstructural learningneural networksgeneralizationrobustness
发现论文，激发创造
  • 多任务稀疏结构学习

    本文提出了一种新型 MTL 模型，通过交替极小化算法解决任务关系结构和任务参数的联合估计问题，应用于回归和分类问题，结合灰色图模型结构学习得出任务关系结构。在温度预测等多个数据集中，该模型展现出了显著的表现优势。

    Sep, 2014

  • 潜在多任务架构学习

    本文提出了一种基于潜在多任务体系结构的方法，该方法可以在 OntoNotes 5.0 的人造数据和数据中的多种领域和四种不同的任务中，比以往任何一种学习潜在体系结构的多任务问题方法都表现得更优秀，可以实现高达 15% 的平均误差降低率。

    May, 2017

  • 深度神经网络的多任务学习：一项调查

    本篇综述介绍了多任务学习在深度神经网络中的方法，重点阐述了体系结构、优化方法和任务关系学习三个方面，并提供了常见的多任务基准的总结。

    Sep, 2020

  • 异步多任务学习

    本文提出了一种分布式和异步优化的多任务学习框架，该框架能够有效地解决数据存储在不同地点时的挑战，同时能够提高多任务学习模型的泛化性能。实证研究表明本文提出的方法在合成和实际数据集上均表现出高效和有效的性能。

    Sep, 2016

  • 多任务强化学习的预测任务特定层

    通过引入新的架构 Projected Task-Specific Layers (PTSL)，该论文通过使用特定任务层进行共享和可变任务信息的密集修正，从而成功地在多任务强化学习中解决了任务间的负面干扰，并在 Meta-World 的 MT10 和 MT50 基准测试中优于现有技术。

    Sep, 2023

  • 基于图结构的多任务学习

    本文提出了两种基于神经序列模型的多任务学习架构，采用 message-passing graph 神经网络的思想，构建了通信的图多任务学习框架，并在文本分类和序列标注任务上进行了大量实验，证明了其在多任务学习和迁移学习上的有效性和可解释性。

    Nov, 2018

  • 视觉场景理解的多任务学习

    研究多任务学习在计算机视觉中的应用，通过综述现有方法，提出几种方法处理多任务学习中的重要问题，并在各种基准测试中进行评估，进一步提升了多任务学习的状态。

    Mar, 2022

  • 多任务学习作为通用 AI 本地 RAN 的实现方法

    通过实现面向 6G 及更高版本网络的基于数据驱动的 AI 原生架构，可以最终实现在网络边缘分布多个机器学习工作负载，驱动次级载波预测、定位、信道预测等下游任务。该研究探讨了多任务学习在构建通用 AI 原生无线接入网络方面的有效性，重点研究了次级载波预测、用户位置预测、室内链路分类和视线链路分类四项任务，在真实模拟中验证了性能，并得出了关于模型架构、损失和梯度平衡策略、分布式学习拓扑结构、数据稀疏性和任务分组等多方面设计要点的定量分析和见解，结果显示在四项考虑的任务中，采用基于定制门控的专家架构和基于不确定性的权重调节的多任务学习方法在性能上要么超过单任务学习，要么与其持平；在多任务学习设置下，视线链路分类任务有助于其他任务，但自身性能下降；对于稀疏训练数据，训练单一全局的多任务学习模型有帮助，但性能与单任务学习持平；每个任务存在一组最佳的任务组配对；多任务学习设置下的部分联邦要好于全模型联邦。

    Apr, 2024

  • 跨多种拓扑结构搜索的多任务学习动态神经网络

    本文提出一个多任务学习框架，利用限制 DAG-based 中央网络和特征共享来构建适应性强的结构，并使用流量约束和挤压损失将网络压缩离散化，从而实现在多个公共 MTL 数据集上达到最先进的性能。

    Mar, 2023

  • 为每个任务提供所需的条件 —— 利用结构稀疏性进行个性化多任务学习

    通过引入层优化的多任务（LOMT）模型，利用结构化稀疏性来优化任务选择性特征，并提高多任务学习（MTL）框架的性能，将任务特定的解码器连接到经过策略性识别的层，实现网络的定制化架构，减少冗余，优化网络。

    Jun, 2024