多任务学习对脊柱磁共振 (IMR) 报告知识提取的有效性解释

ACLMay, 2022

多任务学习对脊柱磁共振 (IMR) 报告知识提取的有效性解释

Explaining the Effectiveness of Multi-Task Learning for Efficient Knowledge Extraction from Spine MRI Reports

Arijit Sehanobish, McCullen Sandora, Nabila Abraham, Jayashri Pawar, Danielle Torres...

TL;DR本文研究了基于预训练的 Transformer 模型在领域特定语料库上微调后对 NLP 领域的影响，强调使用将任务分组的多任务学习，同时提出了使用单一多任务模型可以使多个任务的性能与使用特定任务模型相当并展现了其有效性的验证方法。

Abstract

pretrained transformer based models finetuned on domain specific corpora have changed the landscape of NLP. However, training or fine-tuning these models for individual tasks can be time consuming and resource intensive. Thus, a lot of current research is focused on using transformers

pretrained transformer multi-task learning effective representations radiologist-annotated datasets nlp problems

发现论文，激发创造

多任务学习在颈椎放射学报告中高效提取病理信息

本文验证了多任务学习是强大的分类器，可优于或等于多个基于 BERT 的模型和各种任务特定的适配器增强的 BERT 模型的性能，同时也开拓了我们的方法在各种身体部位的放射科医生报告中的应用范围。

Apr, 2022

使用任务级别 Mixture-of-Experts 挖掘和理解跨任务技能

本文介绍了一种针对 NLP 任务的基于任务级别的专家混合模型，该模型使用一组具有灵活性的 Transformer 层和一个路由组件进行任务分配，其表现优于传统的多任务学习模型，同时也发现保留人类任务分类方法对提高模型性能有一定帮助。

May, 2022

干细胞假说：利用 Transformer 编码器进行多任务学习面临的困境

通过多任务学习，结合 transformer 编码器，研究了多个 NLP 任务，发现多任务学习的注意力头之间相互干扰，提出干细胞假说解释在某些任务上具有天赋的注意力头不能被同时训练。同时，提出了新的无参考探针来验证该假说，通过标签分析展示了注意力头在五个任务之间如何被转换。

Sep, 2021

针对基于预训练 Transformer 的多任务主动学习

本文介绍多任务学习和主动学习的结合在 NLP 领域中的应用，提供了一些多任务选择标准，论证了多任务学习的有效性，使得在避免过多的文本标注方面更为高效。

Aug, 2022

通过多任务对比学习的有效应用提高内容理解能力

通过利用多任务学习来改进 LinkedIn 核心内容推荐模型的语义理解能力，本研究提出了一种方法。我们使用来自不同语义标注任务的数据，通过多任务对比学习，对预训练的基于 Transformer 的 LLM 进行微调。我们观察到正向转移，相比于独立训练每个任务，在所有任务上都表现出更好的性能。我们的模型在零 - shot 学习上优于基准并提供了改进的多语言支持，突显了其广泛应用的潜力。我们模型产生的专门内容嵌入优于 OpenAI 在 Linkedin 数据集和任务上提供的通用嵌入。该工作为 LinkedIn 的垂直团队提供了一个健壮的基础，可以根据他们的特定应用定制和微调 LLM。我们的工作为该领域提供了见解和最佳实践。

May, 2024

用于科学文献理解的预训练多任务对比学习模型

本文提出了一种多任务对比学习框架（SciMult），采用任务感知分化技术和指令调整技术，在多种科学文献的理解任务中优于现有科学语言模型。

May, 2023

BERT 在生物医学文本挖掘中的多任务学习的实证研究

研究了一种多任务学习模型，应用于生物医学和临床自然语言处理任务中，结果表明该模型相比于目前的 transformer 模型，在生物医学和临床领域的表现分别提高了 2.0% 和 1.3%，并进一步展示了任务间的相互关系。

May, 2020

一种联合多任务模型：为多个 NLP 任务构建神经网络

本研究提出一种多任务学习模型，可以同时训练多种语言学层次的任务，并通过一种逐步增加深度的策略来解决越来越复杂的任务。该模型使用一个简单的正则化项来实现在提高某一任务的损失函数时，不影响其他任务的学习效果。实验结果表明，这个端到端的模型在标签、句法分析、相关性与蕴含等五种任务上取得了最先进或有竞争力的结果。

Nov, 2016

深度多任务表示学习：张量分解方法

本文提出了一种新的深度多任务表示学习框架，通过将矩阵分解技术泛化为张量分解，实现了深度网络中的端到端知识共享的自动学习，而不需要用户定义的多任务共享策略。实验证明了我们的深度多任务表示学习方法在提高准确性和减少设计选择方面的有效性。

May, 2016

自然语言处理中的多任务学习：概述

本文综述了多任务学习在自然语言处理领域的应用。在介绍多任务学习的架构和优化方法后，着重讨论了在多个自然语言处理任务上的表现，最后探讨了相关研究方向。

Sep, 2021