ProTeCt:适用于分层一致性的提示调整
本研究提出了一种分层感知提示调节方法(HPT)来处理多标签文本分类(HTC),通过构建动态虚拟模板和标记词,融合标记层次结构知识并引入零界多标签交叉熵损失,以提高预训练语言模型在 HTC 领域的性能,实验结果表明 HPT 在三组常用数据集上均取得了最先进的表现,能够有效地处理平衡不足和低资源情况。
Apr, 2022
通过多模态提示学习来提高图像和文本特征的对齐度,利用预训练的 CLIP 强大的泛化能力,引导模型在对抗性示例上增强鲁棒泛化能力,同时在干净示例上保持准确性。
May, 2024
本文提出一种叫做测试时提示调整 (TPT) 的方法,可在单个测试样本上实时学习适应性提示,优化提前提供的 CLIP 模型动态调整提示, 以最小化模型预测时的不确定度,提高 CLIP 模型的泛化能力。实验结果表明,TPT 方法在自然情况下的 zero-shot top-1 准确率比以往方法的提升 3.6%,并达到了使用额外培训数据的最新先进方法的性能水平。
Sep, 2022
通过引入属性级归纳偏差和类嵌入来提高图像 - 文本对齐分数的一种新颖的和可解释的提示调优方法。我们通过在 CLIP 上的广泛实验中评估 IntCoOp 来证明其有效性,并发现在 10 个不同领域的下游数据集上,引入属性级归纳偏差能够比现有的提示调优框架获得更好的性能,特别是在 16 张图片的情况下,IntCoOp 提高了 10 个不同数据集的平均表现 7.35%。
Jun, 2024
本文提出了一种新的生成式提示调整方法,将关系分类重新构造为一种填充问题,旨在解决当前提示方法的局限性,并在推理期间设计实体导向的解码和判别关系评分以有效地生成和对齐关系,并在完全监督的设置和低资源设置下展示了我们方法的有效性。
Oct, 2022
本文提出一种名为 CoPrompt 的 fine-tuning 方法,用于提高大规模 foundation 模型在 few-shot 场景下 fine-tuning 过程中的泛化能力,实现方法包括强制任务输出一致性约束、在两个受扰动的输入之间进行一致性约束、并结合提示和适配器两种调整模式的优势来调整额外参数。实验表明,CoPrompt 在基于新颖类别、领域泛化以及跨数据集评估任务上均优于现有方法。
Jun, 2023
该研究论文介绍了一种名为 Open-world Prompt Tuning (OPT) 的问题设置,通过引入 Decomposed Prompt Tuning framework (DePT) 解决 OPT 问题,并提出了一种名为 Decomposed Context Optimization (DeCoOp) 的新型 prompt tuning 方法,实验证明 DePT 的有效性,并显示 DeCoOp 相较于当前最先进的方法有着 2% 的平均准确率的提升。
Jun, 2024
提出了一种有效的长尾 Prompt 调整方法用于长尾分类。该方法使用两个阶段的培训范例来学习训练可调节的提示符。实验证明,与之前的整个模型微调方法相比,此方法具有可比较的性能,并且更加强大。
Oct, 2022
本论文提出了一种能够提高知识转换的可解释性的命令调整范式,名为 TreePrompt,将复杂的句子分解为树,通过结构化的命令生成过程,使每个中间的命令(即树节点)都可以理解推理过程。实验证明了 TreePrompt 的有效性和可解释性。
May, 2023