ACLMay, 2023

多任务学习整合多项技能何时有效？金融 NLP 案例研究

PDF
TL;DR该论文研究了多任务学习在金融自然语言处理领域中的应用，发现多任务学习成功的关键在于技能的多样性、任务的关联性以及模型共享能力的平衡，提出在任务多样但相关、任务聚合尺度和模型共享能力平衡的情况下，多任务学习可以发挥其优势。
multi-task learningnegative transferalgorithmic tricksfinancial nlpskill diversity
发现论文，激发创造
  • 自然语言处理中的多任务学习：概述

    本文综述了多任务学习在自然语言处理领域的应用。在介绍多任务学习的架构和优化方法后，着重讨论了在多个自然语言处理任务上的表现，最后探讨了相关研究方向。

    Sep, 2021

  • 多任务学习调查

    本文综述了多任务学习的算法建模、任务聚类及半监督学习、真实世界应用等方面，并探讨其理论分析和未来方向。

    Jul, 2017

  • 深度神经网络中识别有益的多任务学习任务关系

    本文阐述了多任务深度神经网络在 NLP 领域中的应用和优势，并探究了其在不同任务相关性下提高 NLP 性能的条件和作用。

    Feb, 2017

  • 序列标注的多任务学习：实证研究

    通过研究 11 个序列标注任务中的三种多任务学习方法，我们发现在大约 50% 的情况下，联合学习所有 11 个任务可以改善独立学习或成对学习任务的效果。我们还展示了成对多任务学习可以告诉我们哪些任务可以互惠，哪些任务在联合学习时可以受益。我们的一种多任务学习方法产生的任务嵌入还揭示了语义任务和语法任务的自然聚类。我们的研究打开了在自然语言处理中进一步利用多任务学习的大门。

    Aug, 2018

  • 深度神经网络的多任务学习：一项调查

    本篇综述介绍了多任务学习在深度神经网络中的方法，重点阐述了体系结构、优化方法和任务关系学习三个方面，并提供了常见的多任务基准的总结。

    Sep, 2020

  • 持续学习自然语言新任务中预防灾难性遗忘

    该论文提出了一种基于知识蒸馏的增量学习方法，利用未标记数据避免灾难性遗忘，该方法在公开基准测试中表现出显著的效果，能够保存已获取的知识，并对增量添加的任务获得良好的性能。

    Feb, 2023

  • 2020 年代自然语言处理的多任务学习：我们将走向何方？

    本文主要综述了自然语言处理领域中最近的多任务学习 (MTL) 的研究进展，重点关注深度学习、迁移学习和预训练等相关方向的最新成果及所面临的挑战。

    Jul, 2020

  • 异步多任务学习

    本文提出了一种分布式和异步优化的多任务学习框架，该框架能够有效地解决数据存储在不同地点时的挑战，同时能够提高多任务学习模型的泛化性能。实证研究表明本文提出的方法在合成和实际数据集上均表现出高效和有效的性能。

    Sep, 2016

  • 基于偏差 - 方差分析的可解释性目标特征聚合多任务学习

    提出了一种多任务学习方法，该方法基于任务聚类和特征变换，通过目标和特征的两阶段迭代聚合来提高回归模型的泛化能力，并在合成数据和真实世界的数据集上进行了验证。

    Jun, 2024

  • 多任务学习可改善最差组结果

    为了创建能为多样用户提供服务的机器学习系统，需要不仅实现高的平均性能，还要确保在不同群组中公平的结果。本文研究了多任务学习在最差群组准确性和群组公平性挑战中的潜力，并提出了通过对多任务表示空间进行正则化改进的方法。实验结果表明，我们的正则化多任务学习方法在最差和平均群组结果上都优于现有方法。

    Dec, 2023