FPT：用于少样本可读性评估的特征提示调整

Apr, 2024

FPT：用于少样本可读性评估的特征提示调整

FPT: Feature Prompt Tuning for Few-shot Readability Assessment

Ziyang Wang, Sanwoo Lee, Hsiu-Yuan Huang, Yunfang Wu

TL;DR我们提出了一种新的基于提示的调优框架，称为特征提示调优（FPT），它结合了丰富的语言知识，通过从文本中提取语言特征并将其嵌入可训练的软提示，进一步设计了一种新的损失函数来校准类别之间的相似度排名顺序，实验证明我们的方法在诸多方面均显著提高了性能，并超越了先前引入语言特征的方法以及大型语言模型 gpt-3.5-turbo-16k。我们的方法为提示调优建立了一种新的体系结构，并为如何轻松调整语言特征来适应与语言相关的任务提供了指导。

Abstract

prompt-based methods have achieved promising results in most few-shot text classification tasks. However, for readability assessment tasks, traditional prompt methods lackcrucial linguistic knowledge, which has a

prompt-based methods few-shot text classification linguistic knowledge feature prompt tuning linguistic features

发现论文，激发创造

通过渐进式训练提高提示调整效率的 FPT 模型

本论文提出了一种名为 Fast Prompt Tuning 的技术，通过将 partial PLMs 中的 soft prompts 转化到整个 PLM 中来提高 prompt tuning（PT）的训练效率，该技术的应用可以在保持性能的同时节省 30% 的训练计算资源。

Nov, 2022

针对少样本文本分类的统一提示调整

该论文提出了一种统一的 Prompt Tuning (UPT) 框架，通过从非目标自然语言处理数据集中明确捕获提示语义，使 BERT 风格模型在少样本文本分类方面取得更好的性能，该框架引入了一种新的编程范例 Prompt-Options-Verbalizer，强制 PLMs 捕获任务不变提示知识，经过多任务学习后，该模型可以更好地针对任何不同的低资源任务进行提示调整。

May, 2022

用对比提示调整使预训练语言模型成为端到端的小样本学习模型

CP-Tuning 是第一个无需手动工程任务特定提示和说明符进行微调的端到端对比提示调整框架，它与任务不变的连续提示编码技术和完全可训练的提示参数相集成。

Apr, 2022

细粒度检索提示调优

本文提出了 Fine-grained Retrieval Prompt Tuning（FRPT）方法，利用鉴别性扰动提示和特征自适应以学习少量参数，在细粒度图像检索任务上达到了最先进的性能水平。

Jul, 2022

关于 prompt tuning 在自然语言处理中的可迁移性

本文考察了使用预训练的语言模型进行 Prompt tuning (PT) 的有效性，同时也研究了软提示在不同任务和不同模型之间的可迁移性，并发现神经元激活的重叠率是决定软提示可迁移性的重要指标。我们的发现表明，软提示迁移有望改善 PT，并建议进一步研究提示对模型的刺激方法

Nov, 2021

C-TPT：基于文本特征离散度的视觉 - 语言模型校准测试时提示调整

通过观察我们发现，测试时间提示选择显著影响 CLIP 的校准，其中导致更高的文本特征分散的提示导致更好校准的预测。介绍了平均文本特征分散（ATFD），建立了它与校准误差的关系，并提出了一种新的方法，即校准的测试时间提示调整（C-TPT），以增强校准能力。通过对不同的 CLIP 架构和数据集进行广泛实验，我们显示 C-TPT 可以有效地提高测试时间提示调整的校准能力，而无需标记的数据。

Mar, 2024

文本分类的规则提示调整

本文提出了基于规则的提示调整 (PTR) 方法，将逻辑规则应用于构建提示，以便在许多类别的文本分类任务中编码先前知识，并通过对关系分类进行实验，证明 PTR 能显著且一致地优于现有的最先进基线。

May, 2021

知识化提示微调：将知识融入文本分类的提示语生成器

本文关注于将外部知识融入语言模型的提示操作，形成知识型提示微调，以提高和稳定性能，实验证明其在评论分类任务中有效。

Aug, 2021

PPT: 预训练提示调整用于少样本学习

本文提出了一种名为 PPT 的框架，通过在预训练阶段添加软提示来获得更好的初始化，将预训练提示调整用于下游任务可达到或甚至优于整体微调的效果，这对于实际使用大规模预训练语言模型是一种有效和高效的方法。

Sep, 2021

视觉 - 语言模型中零 - shot 泛化的测试时提示调整

本文提出一种叫做测试时提示调整 (TPT) 的方法，可在单个测试样本上实时学习适应性提示，优化提前提供的 CLIP 模型动态调整提示，以最小化模型预测时的不确定度，提高 CLIP 模型的泛化能力。实验结果表明，TPT 方法在自然情况下的 zero-shot top-1 准确率比以往方法的提升 3.6％，并达到了使用额外培训数据的最新先进方法的性能水平。

Sep, 2022