Dec, 2022

AUG-FedPrompt: 基于数据增强 Prompt 的实用 Few-shot 联邦 NLP

PDF
TL;DR本研究提出了一种基于数据增强的联邦学习算法 AUG-FedPrompt，针对 NLP 中数据稀缺和隐私保护等问题，使用少量有标签数据与海量无标签数据训练，可在联邦学习任务中取得与使用全部有标签数据进行微调一致的表现。
transformer-based pre-trained modelsnlpfederated learningdata augmentationfew-shot learning
发现论文，激发创造
  • PromptDA: 基于标签的数据增强，针对基于提示的小样本学习

    本研究利用丰富的标签语义信息提出了一种新颖的标签引导数据增强框架 PromptDA，通过有效地利用标签语义和数据增强来提高自然语言理解的性能，以解决如何为基于 Prompt 的 few-shot 调整设计有效的数据增强方法的重要研究问题。

    May, 2022

  • 少样本情况下的联邦自然语言处理

    本研究探讨了在缺乏训练样本标签的情况下，如何通过建立一种命名为 FFNLP 的系统，使用伪标注技术和提示学习技术的算法进化来实现联邦学习模型的训练，以优化移动设备自然语言处理 (NLP) 应用程序的性能。

    Dec, 2022

  • POUF: 面向提示的无监督微调大规模预训练模型

    本研究提出一种无监督的精调框架，用于快速和直接地向未标记的目标数据进行深度学习模型的预训练，并在图像分类、情感分析和自然语言推理任务中实现了持续的改进。

    Apr, 2023

  • 通过提示进行弱监督的对话理解数据增强

    本论文探讨了在缺少数据资源的情况下，利用预先训练好的语言模型进行对话理解中的数据增强的问题，并提出了一种利用弱监督滤波器迭代增强质量的新方法。实验结果表明，在 DailyDialog 和 Facebook 多语言任务导向对话的情感、行为和意图分类任务上使用少量数据作为辅助训练集，可以达到或超过现有的最佳性能。

    Oct, 2022

  • 利用基于提示的数据增强提高黑盒少样本文本分类

    本文提出了一种名为 BT-Classifier 的方法，它通过对数据进行数据增强、把黑盒模型作为特征提取器以及使用小型的辅助语言模型的 prompt-based 微调训练分类器，达到了在不访问大型模型的梯度的情况下优化零样本学习任务的效果，并在 8 个文本分类数据集上取得了与全模型调整方法相当的成果。

    May, 2023

  • 通过客户特定的提示生成在联邦学习中进行高效模型个性化

    我们提出了一种新型的个性化联邦学习框架 pFedPG，通过在服务器上学习部署个性化提示生成器，生成适应本地数据分布的特定于客户端的视觉提示，以实现从大规模模型中获取强大表示能力同时为异构客户端实现高效个性化模型优化。

    Aug, 2023

  • 超级提示：利用模型无关的语境数据减少视觉常识任务中的数据注释需求

    本文研究如何使用 Prompt-based Fine-tuning 技术提高语言模型和多模式因果变换器模型的效果，结果表明使用只有 35%-40% 的训练数据集便能取得可比较的效果，从而达到显著的时间和费用节约。

    Apr, 2022

  • 文本驱动的视觉语言模型联邦学习中的提示生成

    通过提出联合文本驱动的提示生成 (FedTPG) 方法，在多个远程客户端上学习统一的提示生成网络，从而解决了现有提示学习技术在泛化到未知类别方面的挑战，实现了针对已见和未见类别的更好泛化，并且对未见数据集也具有泛化能力。

    Oct, 2023

  • 具有群组感知提示调整的异构联邦学习

    在联邦学习中，我们利用预训练的 Transformer 和高效的提示调整策略，通过引入学习共享和组特定提示的概念，使全局模型能够自动适应各种局部客户数据分布，从而有效地弥合全局和个性化本地模型之间的差距，并超越以往无法适应之前未见客户的其他方法。

    Oct, 2023

  • MinPrompt: 基于图的极简提示数据增强用于少样本问题回答

    该研究提出了一个基于最小数据增强框架的开放领域问答系统，通过使用近似图算法和无监督问题生成，选择最具信息量的数据集进行微调，从而在效率上实现可比较或更好的准确性，提高了 F-1 分数高达 27.5%。

    Oct, 2023