soft prompt tuning | BriefGPT

关键词soft prompt tuning

搜索结果 - 10

SuperPos-Prompt: 使用多个令牌嵌入的叠加来增强语言模型的软提示调优
在参数高效调整预训练语言模型方面，软提示调整技术最近已经引起了广泛关注，尤其是减少模型参数调整所需的工作。尽管它们的使用越来越多，但是在使用软提示进行最优调整，特别是在较小的数据集上，仍然面临着重大挑战。该研究在这个领域做出了两个贡献：（i
PDFa month ago
ACLIAPT：面向大型语言模型的指令感知提示调整
我们提出了一种新的提示调整方法，Instruction-Aware Prompt Tuning (IAPT)，该方法只需要四个软标记，并且在具有可调参数的情况下优于最近的基准方法，并比低秩适应性 (LoRA) 在单主干多租户设置下更高效。
PDFa month ago
关于视觉语言模型的测试时零样本泛化：我们真的需要提示学习吗？
通过研究大型视觉 - 语言模型，特别是 CLIP，有效的调整技术，主要关注软提示调整，这催生了一系列研究。与此同时，测试时数据增强正在成为一个重要的研究领域，它利用图像的多个增强视角来增强零样本泛化能力。相反，我们提出了一种用于测试时数据增
PDF2 months ago
ACL跨语言迁移的软提示调整：少即是多
通过插入可学习的嵌入或软提示到预训练语言模型 (PLM) 的输入层，Soft Prompt Tuning (SPT) 是一种将 PLM 调适到特定任务的参数高效方法，无需修改其参数。本文研究了 SPT 在跨语言传递中的潜力，并通过冻结模型参
PDF5 months ago
ArGue: 面向视觉语言模型的属性引导提示调整
通过引入 Attribute-Guided Prompt Tuning 方法，利用基于大型语言模型生成的原始视觉属性来优化视觉 - 语言模型，包括软提示调整、属性抽样以及负面提示，以提升其在新类别预测和超出分布泛化任务上的表现。
PDF7 months ago
EMNLP基于检索的知识迁移：一种有效的极端大型语言模型压缩方法
我们介绍了一种称为 Retrieval-based Knowledge Transfer (RetriKT) 的新型压缩模型的方法，通过从大规模预训练语言模型中提取知识，构建一个知识存储库，小规模模型可以从中检索相关信息并利用它进行有效推理
PDF8 months ago
最后一人站立：对 Soft Prompt Tuning、LoRA 和 In-Context Learning 的安全和隐私的比较分析
对三种 LLM（Large Language Models）技术（Low-Rank Adaptation、Soft Prompt Tuning 和 In-Context Learning）在隐私和安全方面的鲁棒性进行评估，结果表明在 LLM
PDF9 months ago
通过软提示调整大型语言模型以辅助密集检索
本论文提出了软提示调整强化密集检索的 SPTAR 模型，并可利用少量的真实数据优化特定的软提示。在实验中，SPTAR 在密集检索任务中获得了比 BM25 和基于 LLMs 的增强方法更优秀的结果。
PDFa year ago
信息论软提示调整用于自然语言理解
该研究提出了一种信息理论框架，用于将软提示调整作为最大化提示和其他模型参数（或编码表示）之间的互信息的方法，从而发展了一种更为高效、准确和稳健的软提示调整方法 InfoPrompt。
PDFa year ago
ACL可靠的免梯度和免似然函数提示调整
本文提出了一种适应预训练语言模型的技术，这种技术在只有 API 访问的情况下，通过软提示调整的方法进行微调，并且不需要访问 PLM 的任何内部表示，同时学习的提示分布可以量化预测的不确定性。通过大量实验证明这种方法可以和基于梯度的完全访问
PDFa year ago