May, 2020
自然语言处理中的迁移学习综述
A Survey on Transfer Learning in Natural Language Processing
Zaid Alyafeai, Maged Saeed AlShaibani, Irfan Ahmad
TL;DR本次调查主要介绍自然语言处理领域中最近迁移学习的发展和不同的迁移学习方法分类的分类学。
Abstract
deep learning models usually require a huge amount of data. However, these
large datasets are not always attainable. This is common in many challenging
nlp tasks. Consider →
发现论文，激发创造
低资源场景下自然语言处理的最近方法综述
本文调查了低资源自然语言处理的相关方法，其中包括数据增强、遥感监视和迁移学习等技术以帮助在需要训练数据较少的情况下提高神经模型的性能，并通过说明这些方法的差异帮助选择适合特定低资源设置的技术。
Oct, 2020
探索和预测 NLP 任务的可转移性
本文旨在探究将自然语言处理大规模语言模型 fine-tuning 应用于其他任务是否有效，通过在三大问题领域（文本分类、问题回答、序列标注）的 33 个 NLP 任务上的数据验证，结果显示 transfer learning 在数据稀缺情况下更为有效，在源任务数据较少或与目标任务差异较大的情况下仍能提高性能，同时提出了可以预测给定目标任务最具可转移性源任务的任务嵌入，并验证其在数据大小、源和目标之间的有效性。最终的结果显示源数据大小、任务和领域的相似性和任务的复杂性在决定转移性方面起着关键作用。
May, 2020
大型预训练语言模型在自然语言处理中的最新研究进展：综述
本文介绍了使用预训练和微调、提示或文本生成方法解决 NLP 任务的大型预训练基于 transformer 的语言模型，以及使用预训练语言模型生成数据进行训练或其他目的的方法，并讨论未来研究的限制和建议方向。
Nov, 2021
语音和语言处理的迁移学习
该文总结了最近关于利用深度模型在语音和语言处理中进行模型适应的一些重要研究，重点关注了利用迁移学习在跨语音和多语言任务中的表现，并展示了深度模型在跨数据分布、数据类型、模型结构和模型类型之间进行学习的潜力。
Nov, 2015
深度学习在自然语言处理中的应用调查
本文简要介绍了自然语言处理领域和深度学习架构和方法，并从最近的研究中总结了大量相关贡献，对核心语言处理问题和计算语言学的多个应用进行了分析，并提供了当前技术水平的讨论和未来研究的建议。
Jul, 2018