soft prompt | BriefGPT - AI 论文速递

关键词soft prompt

搜索结果 - 6

多空间投影和提示融合的高效提示调整
通过多空间投影和提示融合的方式，我们提出了一种高效的提示调整方法（EPT），旨在解决平衡准确性和效率的问题，同时提升语言模型在不同下游任务上的表现。实验结果表明，相对改进百分比高达 28.8％，训练时间减少了 14％。
PDFa month ago
领域泛化的软提示生成
大型预训练视觉语言模型（VLMs）在下游任务中展现出令人印象深刻的零 - shot 能力，但人工设计的提示对特定领域不够优化。本文提出了一种用于下游任务的软提示方法，通过在特定域数据上进行微调，将软提示作为学习向量。我们从生成的角度重构了提
PDF2 months ago
EMNLP通过低秩重参数化分解的提示调整
通过低秩矩阵来初始化软提示以减少可训练参数数量并保持有效性，进而提出分解式提示调优方法，并在高资源和低资源场景下的 SuperGLUE 基准实验结果表明了该方法的有效性。
PDF9 months ago
利用基础模型最小监督检测政策违规行为
利用大规模文本数据训练的基础模型可以通过硬提示和软提示技术检测政策违规，本文采用链式思考提示模型对该任务进行硬提示，并结合软提示技术进行模型训练和分类解释，基于实验结果提出了有效的政策违规检测工作流程。
PDFa year ago
InstructZero: 大型黑盒语言模型中的高效指令优化
该研究提出了 InstructZero 方法，该方法通过优化一个低维的软提示来生成黑盒 LLMs 的指令，并使用贝叶斯优化来改进性能，在多项下游任务上展现出优于其他自动指令方法的性能。
PDFa year ago
渐进式提示：语言模型的持续学习
利用 Progressive Prompts 方法解决语言模型领域中的连续学习问题，它以前向传递为基础，无需数据重放或大量的任务特定参数，并且其推动学习的方式有助于抵御灾难性遗忘，实验表明相对于 T5 模型的最佳方法，平均测试准确性提高了
PDFa year ago