soft prompts | BriefGPT - AI 论文速递

关键词soft prompts

搜索结果 - 12

定制基础模型与低秩提示调适
通过使用 “Low-Rank Prompt Adaptation”，我们提出了一种基于 prompt 调优的方法，它在可接受的参数效率下与最先进的 PEFT 方法和全面调优方法具有相当的性能，而且无需基于服务器的适配器。
PDFa month ago
DreamDistribution: 基于提示分布学习的文本 - 图像扩散模型
通过使用软提示，我们的研究致力于在更抽象概念或类别的层面上个性化文本到图像扩散模型，使得可以从一组参考图像中借鉴共性，并创造具有足够变化的新实例。我们的解决方案允许预训练的文本到图像扩散模型学习一组软提示，从而使用从学习的分布中采样的提示生
PDF6 months ago
EMNLP可调的软提示是联邦学习中的信使
通过可调整的软提示实现参与者之间的信息交流，以在损失较少的全局模型的基础上保护全局模型，减少联邦学习中的通信和计算成本。
PDF8 months ago
SPeC: 基于软提示的校准方法，用以缓解临床笔记摘要中的性能变化
使用软提示的模型无关软校准 (SPec) 管道可降低输出方差，同时保留提示式摘要的优点，并有效增强大型语言模型的性能，为临床笔记的摘要提供了更可靠的解决方案。
PDFa year ago
知识提示：通过柔性提示将世界知识注入语言模型
本文提出使用软提示的方法将世界知识应用到大型自然语言模型中，通过自监督学习在知识库数据上训练软提示，得到的软知识提示可以被用于提高语言模型在不同知识密集型任务中的性能。
PDF2 years ago
COLINGMetaPrompting：学习生成更好提示信息
本文提出了一种称为 MetaPrompting 的通用软提示方法，它采用了公认的模型无关元学习算法来自动找到更好的提示初始化，有助于快速适应新的提示任务，并在四个不同的数据集上取得了显著的改进（1-shot 模式下精度提高了超过 6 个百分
PDF2 years ago
自然语言生成的多任务监督预训练 (MVP)
提出一种基于 supervised pre-training 的自然语言生成模型 MVP，通过大规模语料库 MVPCorpus 在文本 - 文本格式下进行训练，并针对每种任务预训练特定的 soft prompts。实验证明 MVP 在多个自
PDF2 years ago
EMNLP自然语言理解的向量量化输入上下文化软提示
提出了 VIP，这是软提示调整框架的扩展，着重于两个方面 - 上下文提示通过小规模句子编码器学习软提示令牌的输入特定上下文化和量化提示通过向量量化网络将上下文提示映射到可学习的码本向量的设置。VIP 在各种语言理解任务上表现出优越性能，比软
PDF2 years ago
COLINGPSP: 面向少样本抽象摘要的预训练软提示
通过新颖的软提示体系结构和提示预训练加微调范式，研究了少样本主动式摘要生成的挑战性任务，使得模型仅调整了极少数的参数。结果显示，与调整所有模型参数的完全模型调优相比，我们的方法在 CNN/DailyMail 和 XSum 数据集上表现得更好
PDF2 years ago
关于 prompt tuning 在自然语言处理中的可迁移性
本文考察了使用预训练的语言模型进行 Prompt tuning (PT) 的有效性，同时也研究了软提示在不同任务和不同模型之间的可迁移性，并发现神经元激活的重叠率是决定软提示可迁移性的重要指标。我们的发现表明，软提示迁移有望改善 PT，并建
PDF3 years ago
ACLPPT: 预训练提示调整用于少样本学习
本文提出了一种名为 PPT 的框架，通过在预训练阶段添加软提示来获得更好的初始化，将预训练提示调整用于下游任务可达到或甚至优于整体微调的效果，这对于实际使用大规模预训练语言模型是一种有效和高效的方法。
PDF3 years ago
EMNLP基于规模的参数高效提示微调技术的强大性
通过 prompt tuning 机制，使用 backpropagation 学习 soft prompts 以提升 downstream tasks 的性能，其中 soft prompts 可以与多个 labeled examples 相
PDF3 years ago