Dec, 2022

PromptBoosting: 带有十次前向传递的黑盒文本分类

PDF
TL;DR本文提出了 PromptBoosting，一种由神经语言模型（LM）构建文本分类器的高效查询过程，其通过无梯度、无隐藏表示获取 LM 分类器的表现。该方法在黑盒分类器训练中越来越重要，并通过梯度自由方法获得一小组提示，并将其与 LM 输出分布的不同元素配对以建立大量弱学习器，然后使用 AdaBoost 算法将这些弱学习器整合。该学习方法仅需要进行少量前向传递和无反向传递的过程。实验表明，PromptBoosting 可在多个黑盒少样本分类任务中实现最先进的性能，并与完全微调方法在少样本和标准学习范式中达到或超过前者的表现，同时比现有黑盒方法训练速度快 10 倍。
promptboostingtext classifierblack-box classifier trainingfew-shot classificationadaboost
发现论文，激发创造
  • 利用基于提示的数据增强提高黑盒少样本文本分类

    本文提出了一种名为 BT-Classifier 的方法，它通过对数据进行数据增强、把黑盒模型作为特征提取器以及使用小型的辅助语言模型的 prompt-based 微调训练分类器，达到了在不访问大型模型的梯度的情况下优化零样本学习任务的效果，并在 8 个文本分类数据集上取得了与全模型调整方法相当的成果。

    May, 2023

  • 最有影响力提示的生存：通过聚类和修剪实现高效的黑盒提示搜索

    通过敏感性分析调查语言模型的提示作用，揭示只有少数词汇对模型预测产生了很大影响，并基于此设计了 Clustering and Pruning for Efficient Black-box Prompt Search (ClaPS) 搜索方法，该方法在搜索空间中引入聚类和修剪，集中关注具有影响力的提示词汇。通过在修剪后的搜索空间中应用简单的搜索方法，ClaPS 在各种任务和语言模型上达到了最先进的性能，超越了复杂方法的性能，并显著降低了搜索成本。该研究突出了搜索空间设计和优化在提升黑盒提示学习的实用性和效率方面的关键作用。

    Oct, 2023

  • 短文本分类的 Prompt-Learning

    本文介绍了基于知识拓展的 Prompt-learning 方法来解决短文本分类中的标签扩展问题，并在三个著名数据集上实验，结果比其他方法均取得了显著提高。

    Feb, 2022

  • 使用提示增强的噪声 - 鲁棒自训练进行弱监督文本分类

    本文提出了 PromptClass 方法，它使用预训练语言模型通过零样本提示获取基于上下文文本理解的伪标签，同时使用两种基于 PLM 微调的策略迭代地训练分类器和更新伪标签，实验结果表明，PromptClass 在四个基准数据集上实现了优异的表现，并在情感分类任务上实现了与全监督分类器相似的性能。

    May, 2023

  • 预训练语言模型中的提示优化的贝叶斯方法

    以贝叶斯优化为基础，研究离散提示的优化方法及其应用于分类任务中的性能表现。

    Dec, 2023

  • 探索基于提示学习范式的小型语言模型用于高效的领域特定文本分类

    在本研究中，我们调查了小语言模型（具有不到 10 亿参数）与 prompt-learning 范例相结合，在零样本和少样本场景下针对零售业中客户 - 代理商互动的领域特定文本分类的潜力。我们的评估结果显示，在少样本设置下进行基于提示的模型微调时，220M 参数的典型小语言模型 T5-base 可以在有限的标记数据（高达全数据的 15%）上实现约 75% 的准确性，显示了小语言模型与 prompt-learning 的巨大潜力。基于此，我们进一步验证了主动少样本抽样和 prompt-learning 流程中的集成策略对显著性能提升的有效性。此外，在固定模型的零样本设置中，我们强调了一个关键的观察结果，即尽管具有约 1540B 参数的 GPT-3.5-turbo 可以达到 55.16% 的准确性，但当仅有 0.5% 参数的 FLAN-T5-large 使用经过优化的提示时，其准确性超过 31%，相比使用未经优化提示的准确性提升了近 13%。我们的发现强调了使用小语言模型进行 prompt-learning 的分类任务中的潜力，强调了主动少样本抽样和集成策略在少样本设置中的好处，并强调了零样本设置中提示工程的重要性。

    Sep, 2023

  • 面向预训练语言模型的黑盒提示学习

    本文提出了一种针对预训练语言模型的黑盒离散提示学习方法，实现了在云端和边缘设备之间的高效协作，并在此基础上对各种数据大小、提示长度、训练预算、优化目标、提示可转移性和解释方面进行了深入的案例研究，证明了该算法在 8 个基准测试中取得了显著的改进。

    Jan, 2022

  • 语言模型作为视觉 - 语言模型的黑盒优化器

    通过自然语言提示，我们提出了一种新颖的视觉语言模型微调方法，利用基于对话的大型语言模型作为黑盒优化器，在少样本图像分类任务中通过对话过程中的文本反馈，自动搜索最佳文本提示，从而避免了对模型参数、特征嵌入或输出标签的访问。

    Sep, 2023

  • CrossTune: 基于黑盒的标签增强的小样本分类

    通过引入一种称为 CrossTune 的标签增强的交叉注意力网络，该网络在输入文本序列和任务特定标签描述之间建模语义相关性，本研究在少样本文本分类的背景下检验了 CrossTune 的有效性。通过使用 ChatGPT 生成额外的训练数据以提高 CrossTune 的泛化能力，并通过实验验证提出的方法相较于以往梯度自由黑盒调优方法平均提升了 5.7%，即使不使用 ChatGPT 增强数据，CrossTune 的性能也优于或与以往黑盒调优方法相当，这表明了我们方法的有效性。

    Mar, 2024

  • TrojPrompt：预训练语言模型的黑盒特洛伊攻击

    本文针对基于 Prompt 学习的预训练语言模型 API 的安全问题进行了研究，提出了 TrojPrompt 框架以解决现有的后门攻击问题，并在现实世界的黑盒预训练语言模型 API 中成功插入了木马，同时保持出色的性能。

    Jun, 2023