- ArGue: 面向视觉语言模型的属性引导提示调整
通过引入 Attribute-Guided Prompt Tuning 方法,利用基于大型语言模型生成的原始视觉属性来优化视觉 - 语言模型,包括软提示调整、属性抽样以及负面提示,以提升其在新类别预测和超出分布泛化任务上的表现。
- BadCLIP:针对 CLIP 的触发器感知提示学习的后门攻击
本研究提出了一种名为 BadCLIP 的方法,针对 CLIP 模型在 prompt 学习阶段注入后门,通过影响图像和文本编码器的方式生成可触发的上下文,实现对图片和文本特征的修改,从而进行高效且具有泛化能力的攻击。实验证实,BadCLIP - VSCode:基于 2D 提示学习的通用视觉突显和伪装物体检测
基于 VSCode 模型和 2D prompt 学习的引入,共同解决了四个显著目标检测任务和三个伪装目标检测任务,实现了在 26 个数据集上六个任务的最优结果,并通过结合 2D prompts,如 RGB-D COD,呈现了对未见任务的零样 - 蓄意风险控制:用于大型语言模型负责任部署的严密框架
大型语言模型的能力提升引发了对如何最好地提示模型执行给定任务的兴趣,为了减轻最坏结果风险并促进负责任的部署,我们提出了 Prompt Risk Control 框架,通过对一系列信息风险度量的严格上界选择提示,成功改善了生成质量中的分歧。
- 视觉 - 语言模型的对抗提示调整
通过引入 Adversarial Prompt Tuning (AdvPT) 技术,本研究旨在提升视觉 - 语言模型中图像编码器的对抗性鲁棒性,改善对抗攻击的脆弱性,并且结合现有的基于图像处理的防御技术,进一步提高其防御能力。
- 是否为?对持续可控激励工程的探索
ControlPE 是一种对大型语言模型进行微调和精细控制的技术,利用 LoRA 实现连续的 Prompt 引导权重调整,有效地管控生成过程中的 Prompt 影响。通过生成专门的数据集进行 Prompt 精炼,并将其应用于 LoRA 模型 - 提示工程师的提示工程
通过构建元提示(meta-prompt)从而更有效地引导大型语言模型(LLMs)进行自动提示工程,进而优化其性能。
- 模块化注意力复用技术用于低延迟推理
使用 Prompt Cache 方法,可以通过在不同的大型语言模型提示之间重复使用注意力状态来加快推理速度。这种方法通过预先计算和存储输入提示中经常出现的文本段的注意力状态,以在用户提示中高效地重用它们。在多个大型语言模型上的评估显示,Pr - ProSG:使用 Prompt 合成梯度减轻类似 RNN 的语言模型提示遗忘
提出了一种通过使用合成梯度在生成过程中教授模型记忆提示的架构,以解决记忆遗忘问题和促使提示生成的问题。
- 大型语言模型的强大安全分类器:对抗性提示屏蔽
大型语言模型的安全性是一个重要问题,本研究提出了 Adversarial Prompt Shield(APS)这个轻量级模型,能够有效检测和抵御对抗抓取;同时,我们还引入了自动生成对抗训练数据集的新策略,命名为 Bot Adversaria - EMNLP借助学习的提示层改进提示调优
本文提出了一种新颖的框架,Selective Prompt Tuning (SPT),通过在每个中间层插入由可学习的概率门控制的提示来学习选择适当的提示层,进一步提出了一种新颖的双层优化框架 SPT-DARTS,可以更好地优化可学习门并改善 - 面向任务驱动的基于模型的提示演进
利用下游分割任务优化人工提供的提示,提出了针对 Segment Anything Model(SAM)等基础模型的即插即用的 Prompt 优化技术(SAMPOT),在胸部 X 射线图像的肺分割中取得了显著的改进,并希望此工作能在自动视觉提 - 通过全球规模的提示破解竞赛揭示 LLM 系统的系统性漏洞
通过全球 prompt 黑客竞赛,我们描述了当前大规模语言模型可以通过 prompt 黑客而遭受攻击,提供了对三种最先进的大规模语言模型进行的 600K+ 对抗性 prompt 的数据集,并提出了对敌对 prompt 类型的综合分类本体论。
- EMNLP通过共同预测提示调整学习纠正噪声标签的细粒度实体类型
为了解决细粒度实体类型任务中的噪声标注问题,引入了 Co-Prediction Prompt Tuning 方法,利用多个预测结果来识别和纠正错误标签,并设计了优化目标以考虑训练过程中的不一致预测,实验结果表明该方法显著提高了各种类型的训练 - EMNLP高效跨任务启示调整用于少样本会话情感识别
通过 Cross-Task Prompt Tuning 方法,在情感识别对话中应用预训练语言模型和少样本学习,提高了性能和效率,并在少样本和零样本场景中表现卓越。
- 透过最优控制的镜头看待提示工程
为解决复杂任务并提升人机交互效率,本研究通过最优控制框架,提出了多轮与大型语言模型的交互技术,包括扩展到多个回合的交互、合奏方法和多智能体协作,以系统化现有的 Prompt Engineering 方法,并探索理论挑战和更有效、可解释的方法 - EMNLP最有影响力提示的生存:通过聚类和修剪实现高效的黑盒提示搜索
通过敏感性分析调查语言模型的提示作用,揭示只有少数词汇对模型预测产生了很大影响,并基于此设计了 Clustering and Pruning for Efficient Black-box Prompt Search (ClaPS) 搜索方 - 一幅图像抵得上千言万语:基于多概念提示学习的物体级概念学习
Multi-Concept Prompt Learning introduces a framework to learn multiple object-level concepts simultaneously, enhancing w - Prompt Packer:通过隐藏攻击的组合指令欺骗 LLMs
最近,大型语言模型(LLMs)已越来越多地集成到各种 Web 应用程序中,并进行对齐训练,以确保生成的内容与用户意图和伦理相一致。然而,它们仍存在在实际应用中生成恶意内容(如仇恨言论和犯罪活动)的风险。本文引入了一种创新的技术来混淆恶意指令 - 领域感知联邦学习的双提示调优
本研究介绍了一种名为 Federated Dual Prompt Tuning (Fed-DPT) 的新方法,利用预训练的视觉 - 语言模型并应用视觉和文本提示调整来解决领域移位问题,并通过实验证明了其在领域感知的联邦学习中的重要有效性。