STPrompt: 语义引导和任务驱动的提示,用于有效的少样本分类
该研究提出了一种基于语义提示的适应性视觉特征提取方法,通过在空间和通道维度插入语义提示来提高视觉特征提取器的处理能力,从而在极少量的支持样本下,实现更好的类别特定特征捕捉和更广泛的图像表示。
Mar, 2023
我们介绍了一种名为 I-Prompt 的方法,它是一种与任务无关的方法,专注于图像令牌的视觉语义信息,以消除任务预测,并在四个基准测试中达到了竞争性能,同时与最先进的方法相比显著减少了训练时间。通过大量实验,我们证明了我们的方法在各种场景下的优越性。
Mar, 2024
通过提出多维任务提示学习方法(MTPrompt),将更多的任务相关信息嵌入提示中,以激发大型语言模型中嵌入的知识,从而实现在少样本和五个不同数据集上取得最佳结果,并在不同实验设置和削减实验中展示了该方法的有效性和稳定性。
Dec, 2023
使用 GPT-3 模型分析得出少量样例引导更接近于已学习的任务,本文探讨使用自然语言编程来优化引导,提出元引导概念后能够生成更多的任务自然语言引导,展望这些方法如何应用于实践应用。
Feb, 2021
本文介绍了一个基于原型的新型学习方法 —— 原型提示学习法(PTP),用于在预先训练的视觉语言模型中进行少量样本的图像识别任务。通过定义图像原型和提示原型来实现相似图像的相似提示,从而有效地利用潜在知识并适应各种 PVLM。
Oct, 2022
本文介绍了基于知识拓展的 Prompt-learning 方法来解决短文本分类中的标签扩展问题,并在三个著名数据集上实验,结果比其他方法均取得了显著提高。
Feb, 2022
本研究提出了 MetricPrompt 方法来解决 few-shot 分类任务的 verbalizer 设计难题,将其转化为文本对相关性评估任务,使用 prompting 模型作为相关性度量,取得了超过手动 verbalizer 和其他自动 verbalizer 设计方法的最新 SOTA 表现。
Jun, 2023
在本研究中,我们调查了小语言模型(具有不到 10 亿参数)与 prompt-learning 范例相结合,在零样本和少样本场景下针对零售业中客户 - 代理商互动的领域特定文本分类的潜力。我们的评估结果显示,在少样本设置下进行基于提示的模型微调时,220M 参数的典型小语言模型 T5-base 可以在有限的标记数据(高达全数据的 15%)上实现约 75% 的准确性,显示了小语言模型与 prompt-learning 的巨大潜力。基于此,我们进一步验证了主动少样本抽样和 prompt-learning 流程中的集成策略对显著性能提升的有效性。此外,在固定模型的零样本设置中,我们强调了一个关键的观察结果,即尽管具有约 1540B 参数的 GPT-3.5-turbo 可以达到 55.16% 的准确性,但当仅有 0.5% 参数的 FLAN-T5-large 使用经过优化的提示时,其准确性超过 31%,相比使用未经优化提示的准确性提升了近 13%。我们的发现强调了使用小语言模型进行 prompt-learning 的分类任务中的潜力,强调了主动少样本抽样和集成策略在少样本设置中的好处,并强调了零样本设置中提示工程的重要性。
Sep, 2023
我们提出了一种自适应提示方法,通过宏观语义分配和微观语义细化的过程,根据任务语义量身定制最小且足够的提示,以提高在真实连续学习环境中学习的效率和效果。实验证明,该方法在适应各种任务中的不同语义转变方面始终优于现有方法。
Nov, 2023
本文提出了一种新的基于提示的学习方法 LabelPrompt,用于关系分类任务,通过定义附加令牌来表示关系标签,并构建提示模板方法,以及设计一个实体感知模块和注意查询策略来解决模型中的一些挑战,极大地提高了在缺乏标注数据情况下利用提示学习的适应能力,特别是在少样本场景中的表现超过了其他几种方法。
Feb, 2023