本文探讨了在自然语言处理中合成数据生成的细微差别，重点放在基于模板的问题生成上，并比较了其优点和局限性，最后通过实证评估展示了基于模板的合成数据对现代转换器模型性能的影响。研究结果旨在指导自然语言处理从业者在利用合成数据的潜力上，确保在多种应用中获得最佳模型性能。

Oct, 2023

本文介绍了使用预训练和微调、提示或文本生成方法解决 NLP 任务的大型预训练基于 transformer 的语言模型，以及使用预训练语言模型生成数据进行训练或其他目的的方法，并讨论未来研究的限制和建议方向。

Nov, 2021

本文主要介绍了预训练模型在自然语言处理领域的应用。首先简要介绍了语言表示学习及其研究进展，然后系统地从四个角度分类现有的预训练模型，接下来介绍如何将预训练模型的知识应用于下游任务，并提出了一些未来研究的潜在方向。该综述旨在成为一个操作性指南，帮助理解、使用和开发各种自然语言处理任务的预训练模型。

Mar, 2020

本次调查主要介绍自然语言处理领域中最近迁移学习的发展和不同的迁移学习方法分类的分类学。

May, 2020

本文综述了深度学习在自然语言处理中的应用，包括模型设计与方法演进，总结了深度学习在 NLP 任务中的过去、现在和未来发展。

Aug, 2017

该报告旨在通过识别与 NLP 和 ML 相关的最受欢迎的论文，为研究者和从业者提供一个快速指南，着重应对信息过载问题和了解当前趋势。最受引用的论文主要涉及 LLM 效率、评估技术、伦理考虑、有身体的机器人和 LLM 的问题解决，其中 NLP 相关论文最为具有影响力。

Jul, 2023

本篇论文总结了近年来自然语言处理 (NLP) 的抗干扰性研究，并就技术、度量标准、嵌入、基准等维度深入探讨了该领域中存在的问题和待解决的方向。

Jan, 2022

NLP 领域正在经历一系列颠覆性的变化，该研究旨在通过深入了解过去来塑造我们的未来。通过对 26 位 NLP 研究人员进行长篇采访，我们研究了影响 NLP 领域的因素，包括文化、激励和基础设施。我们的访谈对象发现该领域存在循环模式，同时也出现了历史上没有先例的新变化，包括基准文化和软件基础设施的变化。通过对 ACL 文集中的引用、作者和语言使用进行定量分析，我们进一步支持了这一讨论。最后，我们讨论了 NLP 领域未来的共同愿景、关切和希望。我们希望这项对过去和现在的研究能够引发对我们社区内隐含规范的明确讨论，并更加有意识地塑造未来。

Oct, 2023

该论文通过对 NLP 的演变及其应用的准确性和效率的评论，以及提出和硬件考虑下对基于 transformer 模型的效率进行改进的研究贡献的调查，旨在确定当前 NLP 技术对可持续社会的贡献，并为未来研究奠定基础。

May, 2024

本文概述了预训练语言模型在对话系统中的应用，目的是讨论这些模型是否能克服对话系统所面临的挑战，以及如何利用它们的架构来克服这些挑战，并探讨了对话系统领域的开放性挑战。

Apr, 2021