Apr, 2023

仅需提示和样本，使用 GPT-4 在低资源分类任务中进行数据增强

PDF
TL;DR本文通过简单的提示使用 GPT-4 和 ChatGPT 增强有限的标注语料库，用于三种不同的分类任务，在低资源环境中通过生成的合成样本，测试了两种扩充策略：一种是维护原始标签分布，另一种则是平衡分布，实验发现，合成数据有助于实现很好的下游任务效果和极少见类别的识别。
data augmentationgpt-4chatgptsynthetic datalow-resource domains
发现论文，激发创造
  • 使用 ChatGPT 生成和增强训练数据的 ZeroShotDataAug

    利用生成式语言模型 ChatGPT 生成合成训练数据，以增强低资源场景下的数据，我们使用特定任务的 ChatGPT 提示，表现优于现有方法，并研究了评估合成数据相似性的方法，以验证和评估所生成数据的质量。

    Apr, 2023

  • AugGPT：利用 ChatGPT 进行文本数据增强

    本文提出了一种基于 ChatGPT 的文本数据增强方法（AugGPT），通过将训练样本中的每个句子重新表达为多个概念上相似但语义上不同的样本，提高了数据不变性和样本大小，并在少样本学习文本分类任务上取得了优越性能。

    Feb, 2023

  • GPT3Mix：利用大规模语言模型进行文本增强

    本文提出一种新的数据增广技术，利用大规模的语言模型从混合的样本中生成逼真的文本样本，并利用语言模型预测的软标签，从大规模语言模型中蒸馏知识并同时创建文本扰动，我们在多元化的分类任务上进行数据增广实验，并展示了该方法远远优于现有的文本增广方法，消融研究和定性分析提供了更多的见解。

    Apr, 2021

  • 利用 GPT-4 增强不平衡数据进行自动评分

    通过利用 GPT-4 生成大型语言模型来进行文本数据增强，以解决在自动评分中存在的不均衡数据集的挑战。研究结果表明，GPT-4 增强评分模型在精确度、召回率和 F1 分数方面明显改善，并且对于稳定改善自动评分所需的增强数据比例存在差异。与其他学生编写的响应相比，GPT-4 增强评分模型显示出更好的性能，从而强调了利用生成型大型语言模型进行数据增强技术在自动评估中的潜力和有效性。

    Oct, 2023

  • 基于 ChatGPT 的增强数据技术用于提高参数效率的 LLM 去偏

    使用 ChatGPT 生成综合训练数据提高去偏置大型语言模型的方法表明，可以在降低计算成本、数据限制和多任务语言能力降低的情况下，有效地减少大型语言模型的社会偏见，并具有跨类别的去偏置性能。

    Feb, 2024

  • 利用生成式语言模型进行神经机器翻译的数据增强

    通过利用大规模语言模型如 ChatGPT，我们探索了基于提示的数据增强方法，用于产生合成的平行语料库，比较了三种不同提示的方法，并使用两个评估指标来衡量所生成的合成数据的多样性。这种方法无需额外的模型训练成本，与后向翻译等其他增强方法相比，提高了未增强基线的 0.68 BLEU 分数。

    Jul, 2023

  • 使用现成大型语言模型进行意图分类的数据增强

    本研究提出了一种基于提示的方法，使用诸如 GPT-3 等预训练语言模型来生成带标签的意图分类的训练数据，与需要对数据生成进行任务特定的 LM 微调的方法相比，该方法不需要超参数调整，即使在训练数据非常缺乏的情况下也适用，并且评估结果表明，当考虑到的意图彼此足够不同时，GPT 生成的数据可以显著提高意图分类器的性能；而在半导体上的那些任务中，生成的数据的效果较差，原因是 GPT 经常生成错误的语句，而不是所需的语句。

    Apr, 2022

  • 少样本文本分类中引导生成式语言模型进行数据增强

    本研究利用 GPT-2 生成人工数据增广样本，探究种子数据对生成样本和分类器性能的影响，结果表明在有限的标签实例下将 GPT-2 微调可以实现稳定的分类性能改进，而通过领域专家选择指导此过程可实现进一步提高的效果，这为结合生成模型和主动学习提供了有趣的研究方向。

    Nov, 2021

  • 从远到近，再不失真：使用 ChatGPT 进行文本扩充以实现高效情感分析

    在人工智能时代，数据虽然珍贵，但标注成本却很高。本文利用 ChatGPT 在情感分析中进行文本增强，展示了一种突破性的解决方案。我们利用 ChatGPT 的生成能力创造了合成训练数据，显著提高了较小模型的性能，使其能够与甚至胜过更大的对手。这一创新使得模型既高效又有效，同时降低了计算成本、推理时间和内存使用量，而不会降低质量。我们的工作在经济高效的情感分析模型的开发和部署方面取得了重要进展。

    Dec, 2023

  • GPT-4 在需要高度专业领域知识的文本数据分析任务中的支持能力？

    本文评估了生成式预训练转换 (GPT-4) 对高度专业领域的文本数据分析任务的能力，特别关注分析法院裁决以解释法律概念的任务。我们发现，在注释指南的提示下，GPT-4 的表现与经过良好培训的法律学生注释器相当。我们发现，虽然性能略有下降，但 GPT-4 可以进行批量预测，从而降低成本。然而，采用连贯思维提示并没有在此任务上明显提高性能。此外，我们演示了如何分析 GPT-4 的预测，以识别和减轻注释指南的缺陷，进而提高模型的性能。最后，我们观察到该模型非常脆弱，因为提示中的小型格式相关更改对预测结果影响很大。这些发现可被从事高度专业领域任务的文本语义 / 语用注释的研究人员和实践者利用。

    Jun, 2023