Mar, 2020

自然语言处理的预训练模型：一项调查

PDF
TL;DR本文主要介绍了预训练模型在自然语言处理领域的应用。首先简要介绍了语言表示学习及其研究进展，然后系统地从四个角度分类现有的预训练模型，接下来介绍如何将预训练模型的知识应用于下游任务，并提出了一些未来研究的潜在方向。该综述旨在成为一个操作性指南，帮助理解、使用和开发各种自然语言处理任务的预训练模型。
pre-trained modelsnatural language processinglanguage representation learningtaxonomydownstream tasks
发现论文，激发创造
  • 大型预训练语言模型在自然语言处理中的最新研究进展：综述

    本文介绍了使用预训练和微调、提示或文本生成方法解决 NLP 任务的大型预训练基于 transformer 的语言模型，以及使用预训练语言模型生成数据进行训练或其他目的的方法，并讨论未来研究的限制和建议方向。

    Nov, 2021

  • 预训练模型：过去、现在和未来

    本文全面介绍了预训练模型的历史、最新成果以及未来的研究方向，旨在推进预训练模型应用于下游任务的发展。

    Jun, 2021

  • 视觉 - 语言预训练模型综述

    本文综述了视觉 - 语言预训练模型在多模态学习上的进展，介绍了编码图像、文本信息的方法，分析了模型中处理文本与图像交互的主流架构以及已有的预训练任务和下游任务，并提出了未来的研究方向。

    Feb, 2022

  • 知识增强的预训练语言模型：综述

    本文论述了预训练语言模型（PLM）的重要性以及知识增强型预训练语言模型（KE-PLMs）的研究现状，探讨了 KE-PLMs 在各种 NLU 和 NLG 应用中的超越性能以及 KE-PLMs 面临的挑战和未来研究方向。

    Oct, 2021

  • 文本生成的预训练语言模型：综述

    本文综述了预训练语言模型在文本生成方面的主要进展，包括模型结构、输入数据的适配以及重要的微调策略。对于文本生成研究者而言，该综述提供了相关研究的综合和指引。

    May, 2021

  • 自然语言处理中基于 Transformer 的预训练模型综述

    本论文对基于 Transformer 的预训练语言模型进行了全面调查，并介绍了自监督学习、预训练方法、嵌入、下游适应方法等核心概念以及 T-PTLMs 的新分类法，提供了各种有用的库以及未来研究方向，该论文可作为学习核心概念和了解 T-PTLMs 近期进展的参考资料。

    Aug, 2021

  • 自然语言处理的基础模型 - 集成媒体的预训练语言模型

    本书提供了基础模型的研究和应用的综述，介绍了预训练语言模型 BERT、GPT 和序列到序列变换，并讨论了改进这些模型的不同方法，以及 20 个应用领域中表现最佳的模型。

    Feb, 2023

  • 生物医学领域的预训练语言模型：一项系统调查

    本篇论文综述了近期预训练语言模型在生物医学领域的研究进展及其在生物医学下游任务中的应用，提出了现有生物医学 PLMs 的分类及其在下游任务中的应用，讨论了其限制与未来发展趋势。

    Oct, 2021

  • 知识增强预训练语言模型综述

    本文利用分类法阐述了如何将外部知识融入预训练语言模型（PLMs）中解决其因缺乏外部知识而导致的推理能力不足问题，以及 KE-PLMs 在 NLU 和 NLG 任务中的应用和未来发展方向。

    Nov, 2022

  • 编程自然语言处理调查

    本文综述了自然语言处理在编程方面的研究，并从推理模型到最新竞争级模型全面调查了现有的相关工作，具有技术类别的完整性，方便查找和比较未来的工作。

    Dec, 2022