Nov, 2022

寻找基于任务的平坦区域以提高多任务学习

PDF
TL;DR本文研究了多任务学习领域的一种新方法，使用名为 Sharpness-aware Minimization 的训练技术，以提高单任务学习的通用性和多任务学习的性能。实验表明，该方法在多个应用程序中都有很好的表现。
multi-task learningneural networkssharpness-aware minimizationmodel generalizationgradient-based mtl
发现论文，激发创造
  • 通过搜索平坦极小值的多任务合作学习

    多任务学习 (MTL) 在医学图像分析中显示出巨大潜力，通过提高学到的特征的泛化能力和各项任务的性能。本研究将 MTL 作为一个多 / 双层优化问题，采用合作式的方式让特征从各任务中学习，以减轻优化过程中的负迁移问题。实验证明了该方法的有效性，并且与最先进的 MTL 方法相比取得了有希望的结果。

    Sep, 2023

  • 跨越多任务学习和元学习：迈向高效训练和有效适应

    本论文研究了多任务学习（MTL）与基于梯度的元学习（GBML）之间的关系，通过理论和实证研究证明了它们在优化公式和学习到的预测函数上的相似性，并通过样例展示了 MTL 作为一阶方法可以代替计算代价高的二阶方法 ——GBML，在大规模数据集上训练时更加有效。

    Jun, 2021

  • 公平的多任务学习

    本文提出了一种名为 EMTL 的新型多任务学习优化方法，通过正则化不同任务的相对贡献，在更新共享参数时改善了多任务学习的泛化性能，并通过扩展实验验证了该方法的稳定性和优越性。

    Jun, 2023

  • 多任务学习调查

    本文综述了多任务学习的算法建模、任务聚类及半监督学习、真实世界应用等方面，并探讨其理论分析和未来方向。

    Jul, 2017

  • 异步多任务学习

    本文提出了一种分布式和异步优化的多任务学习框架，该框架能够有效地解决数据存储在不同地点时的挑战，同时能够提高多任务学习模型的泛化性能。实证研究表明本文提出的方法在合成和实际数据集上均表现出高效和有效的性能。

    Sep, 2016

  • 深度神经网络的多任务学习：一项调查

    本篇综述介绍了多任务学习在深度神经网络中的方法，重点阐述了体系结构、优化方法和任务关系学习三个方面，并提供了常见的多任务基准的总结。

    Sep, 2020

  • 多任务稀疏结构学习

    本文提出了一种新型 MTL 模型，通过交替极小化算法解决任务关系结构和任务参数的联合估计问题，应用于回归和分类问题，结合灰色图模型结构学习得出任务关系结构。在温度预测等多个数据集中，该模型展现出了显著的表现优势。

    Sep, 2014

  • 复杂视觉系统上的多任务学习鲁棒性分析

    多任务学习中的问题和挑战，包括优化算法的评估，梯度级别的比较，梯度角度和相对梯度范数的局限性，以及基于特征提取器的潜在空间和特征解缠的训练监测结果。

    Feb, 2024

  • 灵活任务聚类的凸多任务学习

    本文提出了一种基于特征层次的多任务学习模型，实现了对任务关系的探索，并对合成数据和真实世界数据进行了实验验证，结果表明该模型的准确性在各种任务关系程度下表现最佳，具有较高的应用价值。

    Jun, 2012

  • 潜在多任务架构学习

    本文提出了一种基于潜在多任务体系结构的方法，该方法可以在 OntoNotes 5.0 的人造数据和数据中的多种领域和四种不同的任务中，比以往任何一种学习潜在体系结构的多任务问题方法都表现得更优秀，可以实现高达 15% 的平均误差降低率。

    May, 2017