生成、标注和学习：合成文本的自然语言处理

ACLJun, 2021

生成、标注和学习：合成文本的自然语言处理

Generate, Annotate, and Learn: NLP with Synthetic Text

Xuanli He, Islam Nassar, Jamie Kiros, Gholamreza Haffari, Mohammad Norouzi

TL;DR该研究探讨了使用语言模型作为一种合成无标注文本的来源来进行自然语言处理，并提出了 “生成、注释和学习（GAL）” 的通用框架，通过对合成文本进行知识蒸馏、自训练和少样本学习应用来生成高质量特定任务文本，最终在多个应用中取得了显著的收益。

Abstract

This paper studies the use of language models as a source of synthetic unlabeled text for NLP. We formulate a general framework called ``generate, annotate, and learn (GAL)'' to take advantage of synthetic text w

language models synthetic text knowledge distillation self-training few-shot learning

发现论文，激发创造

用于监督文本分析的合成文本

本文介绍了受控产生合成文本的方法，以解决政治科学家在使用受监督文本模型方面面临的挑战。作者用三个应用程序证明了合成文本的实用性，包括生成描述乌克兰战斗的虚拟推文，为训练事件检测系统的合成新闻文章，以及训练句子级民粹主义分类器的多语言语料库。

Mar, 2023

零标签语言学习的探索

该文章探讨了零标签学习在自然语言处理中的应用，介绍了基于预训练语言模型的一种新方法 Unsupervised Data Generation，能够生成高质量的训练数据，无需人工标注。该方法使得用不带标签的数据训练具体任务的模型成为可能，并且当与带标签的数据混合使用时，能实现高效的数据增强，并达到了 SuperGLUE 基准测试的新最优结果。

Sep, 2021

自动注释中的知识蒸馏：由 LLM 生成的训练标签进行监督文本分类

使用生成的大型语言模型生成的标签对监督文本分类模型进行微调，与使用人工标注的标签相比表现相当，是一种快速、高效和经济有效的构建监督文本分类器的方法。

Jun, 2024

合成数据是否使得大型语言模型更高效？

本文探讨了在自然语言处理中合成数据生成的细微差别，重点放在基于模板的问题生成上，并比较了其优点和局限性，最后通过实证评估展示了基于模板的合成数据对现代转换器模型性能的影响。研究结果旨在指导自然语言处理从业者在利用合成数据的潜力上，确保在多种应用中获得最佳模型性能。

Oct, 2023

基于 LM 的文本增强的神经数据到文本生成

通过少量文本样本的文本增强和使用循环一致性作为目标实现弱监督训练范式在数据到文本生成中的有效性。

Feb, 2021

利用大型语言模型进行文本分类的合成数据生成：潜力与局限性

通过研究 LLM 生成的合成数据的表现与分类的主观性之间的关系，我们发现主观性对于模型训练的合成数据的性能具有负面影响，从而限制了利用 LLM 进行合成数据生成的潜力和局限性。

Oct, 2023

使用大型语言模型生成真实的合成数据：计算社会科学案例研究

该研究论文介绍了采用基于 grounding、过滤和分类系统的生成方法来提高合成数据的准确性，并在讽刺检测任务中对比研究了三种方法以提高准确性，评估证明 Grounding 方法更为有效，该研究提供了合成数据高保真性的一些建议。

May, 2023

利用质量加权的弱监督自动标注共同提高语言理解和生成能力

本研究提出了一种半监督框架，利用 GPT-2 模型自动构建了大规模数据，并根据估计的标签质量调整模型参数更新，实现 NLG 和 NLU 模型的联合训练，证明在数据稀缺场景下，该弱监督培训范式是一种有效的方法，在 E2E 和天气基准测试上优于基准系统。

Feb, 2021

AnnoLLM: 使大型语言模型成为更好的众包注释工具

本文提出了一种基于大型语言模型的数据注释方法，通过提示示例和解释的方式，实现了无监督的数据注释，实验结果表明该方法优于众包注释方法。

Mar, 2023

InstaSynth：利用 ChatGPT 生成合成 Instagram 数据的机遇与挑战，用于赞助内容检测

通过使用大型语言模型生成合成数据，研究了其在帮助执行与在线赞助内容披露相关的法律要求方面的潜力。通过评估生成的合成标题的真实性和对未公开广告的识别训练效果，发现真实性和实用性目标之间可能存在冲突，并且即使合成帖子在个体上看起来逼真，它们在整体上缺乏多样性、主题连贯性和真实的用户互动模式。

Mar, 2024