T5 模型在自然语言推理中的跨任务迁移学习

EMNLPOct, 2022

T5 模型在自然语言推理中的跨任务迁移学习

Effective Cross-Task Transfer Learning for Explainable Natural Language Inference with T5

Irina Bigoulaeva, Rachneet Sachdeva, Harish Tayyar Madabushi, Aline Villavicencio, Iryna Gurevych

TL;DR本研究比较了顺序微调和多任务学习模型在两个相关任务上性能提升的情况，并在 FigLang2022 整合任务上测试了这些模型。结果表明，顺序微调在交叉任务知识转移方面表现优异，甚至达到最高得分。

Abstract

We compare sequential fine-tuning with a model for multi-task learning in the context where we are interested in boosting performance on two tasks, one of which depends on the other. We test these models on the <

sequential fine-tuning multi-task learning figlang2022 shared task language inference knowledge transfer

发现论文，激发创造

使用 Text-To-Text Transfer Transformer 研究支持与代码相关的任务

本文利用自然语言处理中的 T5 模型并进行深度学习的预训练和微调，以实现支持自动修复代码、代码注释生成等与代码相关任务的性能优化。

Feb, 2021

结构化数据自然语言双射的突破口和 LLM 注释的角色

使用多个任务的序列到序列变压器语言模型对某些度量标准的性能进行改进的理论仅有有限的证据，但多任务通用模型 t5-small 相较于专门模型 t5-small 在 F1 度为 0.771（原为 0.692）表明其具备跨任务知识泛化的潜力；然而，逆任务只是一种优化策略，模型大小方面的瓶颈和语料库分布差异等因素可能导致性能的降低，进一步的研究需要使用更大模型或进行人工评估来解释贡献这些任务性能的机制。

Jan, 2024

探索和预测 NLP 任务的可转移性

本文旨在探究将自然语言处理大规模语言模型 fine-tuning 应用于其他任务是否有效，通过在三大问题领域（文本分类、问题回答、序列标注）的 33 个 NLP 任务上的数据验证，结果显示 transfer learning 在数据稀缺情况下更为有效，在源任务数据较少或与目标任务差异较大的情况下仍能提高性能，同时提出了可以预测给定目标任务最具可转移性源任务的任务嵌入，并验证其在数据大小、源和目标之间的有效性。最终的结果显示源数据大小、任务和领域的相似性和任务的复杂性在决定转移性方面起着关键作用。

May, 2020

跨语言和内部转换风格的多任务神经模型翻译

本文探讨多任务学习在自然语言生成中的应用，通过多任务学习实现单语言风格转换和基于风格的机器翻译，并展示了在不依赖特定样本的风格注释训练条件下，我们的模型在风格转换和基于风格翻译方面均取得了最先进的性能。

Jun, 2018

神经语音翻译的绑定多任务学习

本文探讨了用于神经语音翻译的多任务模型，并对其进行增强，以反映两个直观概念。精准的中间表示和神经关联的模式，参与模型的训练可以提高低资源语音转录和翻译任务的性能。

Feb, 2018

中间任务训练对于域自适应和跨语言迁移学习的（无）效性

本文分析了使用三种大型语言模型 BERT、RoBERTa 和 XLNet 在文本分类、情感分析、句子相似度三个自然语言处理任务上进行领域内和跨语言适应的迁移学习，并发现大多数任务直接进行微调而不进行中间任务训练可以获得更好的性能，而更广义的任务可能需要先进行中间任务训练。该工作有望成为 NLP 实践者进行迁移学习的指南。

Oct, 2022

WT5?! 训练文本对文本模型解释其预测

本文使用文本到文本的框架，训练语言模型在生成自然文本预测的同时输出自然文本解释，实现了在可解释性基准测试上的最先进结果，并且允许跨数据集传递来自有限数量标记解释的理解能力。

Apr, 2020

语言知识可以增强编码器 - 解码器模型（如果你愿意）

本文探讨了将预训练的编码 - 解码模型（特别是 T5）与语言知识相结合用于预测目标任务时的影响。我们研究了在预测句子的结构语言属性的中间任务上微调 T5 模型是否会改变其在预测句子级复杂性目标任务上的性能。我们的研究包括在意大利语和英语数据集上进行的各种实验，使用了单语和多语 T5 模型以及不同尺寸的模型。无论是在两种语言还是在跨语言配置中，结果表明，从语言学角度出发的中间微调通常对目标任务的性能有积极影响，特别是在模型较小且数据有限的情况下。

Feb, 2024

数据到文本任务的文本到文本预训练

本研究探讨了数据生成文本任务中的预训练和微调策略，实验表明，以 T5 为代表的文本预训练方法使得简单的端到端 Transformer 模型在数据生成文本方面的性能优于传统的神经网络体系结构以及其他预训练技术，如 BERT 和 GPT-2。T5 预训练技术在域外测试集上表现出更好的泛化能力，此研究希望成为未来研究的有益基础，随着转移学习在数据生成文本任务中的广泛应用。

May, 2020

定时多任务学习：从句法到翻译

提出了一种神经编码器 - 解码器机器翻译模型框架，该模型开始交替学习语法和翻译，逐渐将重点放在翻译上，实现了在相对较大的平行语料库（WMT14 英语到德语）和低资源（WIT 德语到英语）设置中的 BLEU 得分显着提高。

Apr, 2018