ACLMay, 2022

PromptDA: 基于标签的数据增强，针对基于提示的小样本学习

PDF
TL;DR本研究利用丰富的标签语义信息提出了一种新颖的标签引导数据增强框架 PromptDA，通过有效地利用标签语义和数据增强来提高自然语言理解的性能，以解决如何为基于 Prompt 的 few-shot 调整设计有效的数据增强方法的重要研究问题。
pre-trained language modelsprompt-based tuningfew-shot learningdata augmentationnatural language understanding
发现论文，激发创造
  • PromDA: 一种基于提示的数据增强方法，用于低资源的自然语言理解任务

    本研究聚焦于为低资源的自然语言理解任务提供数据增强。我们提出了一种基于提示的数据增强模型（PromDA），它只在冻结的预训练语言模型（PLMs）中训练小规模的软提示（即一组可训练向量）。该方法通过两个不同的视角生成合成数据，并使用 NLU 模型过滤掉质量低的数据。在四个基准测试上进行实验，PromDA 产生的合成数据成功提升了 NLU 模型的性能，并始终优于几个有竞争力的基准模型，包括使用未标记的领域内数据的最先进的半监督模型。PromDA 产生的合成数据也是未标记的领域内数据的补充。当将这些数据与未标记的领域内数据结合使用时，NLU 模型的性能可以进一步提高。

    Feb, 2022

  • 基于提示排序的数据增强增强少样本命名实体识别

    本文提出了一种名为基于提示排序的数据增强方法（PODA），使用于预训练语言模型在低资源环境下执行少样本命名实体识别任务，PODA 方法通过提供不按来源序列严格排序但合理多样化的目标实体序列来训练模型，可以加强在各种 NER 任务中的效果表现。

    May, 2023

  • AUG-FedPrompt: 基于数据增强 Prompt 的实用 Few-shot 联邦 NLP

    本研究提出了一种基于数据增强的联邦学习算法 AUG-FedPrompt，针对 NLP 中数据稀缺和隐私保护等问题，使用少量有标签数据与海量无标签数据训练，可在联邦学习任务中取得与使用全部有标签数据进行微调一致的表现。

    Dec, 2022

  • 通过提示进行弱监督的对话理解数据增强

    本论文探讨了在缺少数据资源的情况下，利用预先训练好的语言模型进行对话理解中的数据增强的问题，并提出了一种利用弱监督滤波器迭代增强质量的新方法。实验结果表明，在 DailyDialog 和 Facebook 多语言任务导向对话的情感、行为和意图分类任务上使用少量数据作为辅助训练集，可以达到或超过现有的最佳性能。

    Oct, 2022

  • STPrompt: 语义引导和任务驱动的提示，用于有效的少样本分类

    提出基于任务语义角度构建的语境提示学习模型 STPrompt，其中两种基于语义依存关系树和任务特定元数据描述的新型提示被构建到提示增强池中，能自动选择合适的语义提示来激发提示学习过程，并在五种不同的少样本文本分类数据集上取得了最先进的性能。

    Oct, 2022

  • 超级提示：利用模型无关的语境数据减少视觉常识任务中的数据注释需求

    本文研究如何使用 Prompt-based Fine-tuning 技术提高语言模型和多模式因果变换器模型的效果，结果表明使用只有 35%-40% 的训练数据集便能取得可比较的效果，从而达到显著的时间和费用节约。

    Apr, 2022

  • BayesPrompt: 通过去偏领域抽象在少样本推断中对大规模预训练语言模型进行提示

    通过将已知分布近似为去偏的目标领域的真实分布，并从近似分布中均匀采样一定的代表性特征，生成 PLMs 的最终提示，我们的方法在基准测试中实现了最先进的性能。

    Jan, 2024

  • 改进提示调整中的文本语义是否可以提高 VLM 的泛化能力？

    通过利用来自大型语言模型（LLM）的类别描述，我们引入了一种基于部分级别描述引导的图像和文本特征对齐方法，以构建更加可泛化的提示，并通过在 11 个基准数据集上的全面实验验证，超越了现有方法，取得了实质性的改进。

    May, 2024

  • POUF: 面向提示的无监督微调大规模预训练模型

    本研究提出一种无监督的精调框架，用于快速和直接地向未标记的目标数据进行深度学习模型的预训练，并在图像分类、情感分析和自然语言推理任务中实现了持续的改进。

    Apr, 2023

  • LM-CPPF: 基于释义的数据增强方法用于对比提示式少量样本微调

    本文介绍一种利用生成式语言模型在少样本学习中进行数据增强的方法 —— 通过提示为基础的几乎相同句子识别（LM-CPPF）方法，实验证明此方法相对于其他数据增强方法有着更为显著的优势，如易操作数据增强、回译和多重模板等方法，并在多项文本分类基准测试中获得最佳效果。

    May, 2023