Search | BriefGPT - AI 论文速递

搜索结果 - 200

最后一人站立：对 Soft Prompt Tuning、LoRA 和 In-Context Learning 的安全和隐私的比较分析
对三种 LLM（Large Language Models）技术（Low-Rank Adaptation、Soft Prompt Tuning 和 In-Context Learning）在隐私和安全方面的鲁棒性进行评估，结果表明在 LLM
PDFa month ago
一份包含恶意内容的用于 LLMs 的中文 Prompt 攻击数据集
我们介绍了一份针对大型语言模型的汉语 Prompt 攻击数据集（CPAD），我们的测试结果显示，我们的 Prompt 对语言模型具有显著的危害，攻击成功率约为 70％。我们将发布 CPAD 以鼓励对 Prompt 攻击和防御的进一步研究。
PDF2 months ago
Prompt Generate Train（PGT）: 一种少样本领域自适应、对齐和不确定性校准框架，用于增强式生成器（RAG）模型在特定领域开放式书籍问答中的应用
本研究提出了 Prompt，Generate，Train（PGT）框架，用于高效开发基于收集的文本文档的生成式问答模型，并利用监督微调和强化学习方法构建出一个与 GPT-4 类似的生成式 QA 模型。
PDF5 months ago
动作识别的 Prompt 学习
本文提出了一种基于 Prompt Learning 的 Action Recognition 新方法 PLAR，表现优于先前方法，包括通过光流、大型视觉模型和可学习提示等改进识别性能，模型通过共享相同的目标，同时优化引导模型预测的提示和输入
PDF6 months ago
使用扩散模型进行文本驱动图像编辑的 Prompt Tuning Inversion
本文提出了一种基于 Prompt Tuning Inversion 的精确快速反演技术，用于文本驱动的图像编辑，能够在保留输入图像高准确度的同时进行灵活的编辑，实验证明该方法在 ImageNet 数据集上的表现优于现有技术。
PDF7 months ago
PTP：基于扰动正则化的 Prompt Tuning 提升稳定性和性能
研究表明，在自然语言理解任务中，prompt tuning 相比下游微调能更好地利用大型语言模型的优势，但是现有的 prompt tuning 方法在训练时存在不稳定性问题。本文提出了基于扰动的正则化方法，将其应用到 prompt tuni
PDF7 months ago
SIGIR新闻推荐的 Prompt 学习
本文首次尝试运用 Prompt Learning 模型中的 cloze-style 任务，设计了 Prompt4NR 框架，包含了离散、连续和混合模板，并使用 Prompt Ensemble 方法，成功提升了新闻推荐效果，实验采用了 MIN
PDF8 months ago
基于 Prompt 调整的视觉 - 语言模型适应器
本研究提出一个新的模型 Prompt-Adapter，将预训练的提示调整与高效自适应网络相结合，用于高效的视觉 - 语言模型适应过程，超过公共数据集中少量数据情况下的现有方法，在此基础上，探讨了多任务预训练初始化与 prompt tunin
PDF8 months ago
CVPRPrompt, Generate, then Cache: 基础模型级联，打造强大的小样本学习器
本文介绍了一种基于深度神经网络的 CaFo 模型，它将各种不同的预训练模型知识进行融合，结合 CLIP、DINO、DALL-E 和 GPT-3 的优势，通过 Prompt、Generate、Cache 的工作流程来拓展预训练语言和视觉知识，
PDF9 months ago
À-la-carte Prompt Tuning (APT): 组合提示以合并不同数据
使用基于 transformer 的方案进行 prompt 调整，实现任意组合，达到 bespoke models，维护各用户的访问权限和偏好，多次添加或删除相关 prompt 可达到记录更新，实现 Split CIFAR-100 和 CO
PDF10 months ago
EMNLP通过领域适应改善 Prompt Tuning 的样本效率
本文提出了一种名为 OPTIMA 的算法，通过领域自适应来改进预处理语言模型的 prompt tuning，结果表明 OPTIMA 可以显著提高 prompt tuning 的可迁移性和样本效率，并在少样本情况下超过全模型调整性能。
PDFa year ago
视觉语言模型的软上下文共享 Prompt 调整
本研究提出了一种基于多任务学习的视觉语言模型 Prompt Tuning 的方法 SoftCPT，用于同时优化多个 Few-Shot 任务的任务共享元网络，结果表明该模型能够通过软共享模式下的多任务学习实现比 CoOp 更好的结果。
PDFa year ago
FedPrompt: 基于联邦学习的高效通信和隐私保护 Prompt 调整
本文提供了一种名为 FedPrompt 的新方法，将 prompt tuning 和 federated learning (FL) 相结合，以在保护数据隐私的同时提高 FL 方法的效率。该方法在传统方法的基础上使用模型拆解聚合的方式来使用
PDFa year ago
领域泛化的 Prompt 视觉 Transformer
本论文提出了基于 prompt learning 的全新方法 DoPrompt，利用 domain prompts 嵌入源域的知识进行目标域的预测，针对视觉转换器 (ViT) 在领域泛化方面存在的问题，经过大量实验证明本文方法在四个基准数据
PDFa year ago
生成多模态预训练模型的 Prompt 调整
本文探讨将 Prompt 调参应用于多模态预训练，使用基于生成模型的统一序列到序列的预训练模型，实现轻量级 Prompt 调参，并与微调进行比较，通过实验研究发现 Prompt 调参具有改善鲁棒性的优点，但也存在一些局限性，给出了未来研究的
PDFa year ago
参数高效的 Prompt 调整使得神经文本检索器具有广义性和校准性
本文介绍了一种基于 Prompt tuning 的神经文本检索方法，通过更新其中 0.1% 的参数，能够显著提高检索模型的泛化性能，在额外引入一份包括 87 个主题的来自学术领域的数据集的情况下，证明了这种检索方法的横向主题泛化性强于传统方
PDFa year ago
Prompt Injection: 固定输入参数化
本文提出了一种名为 Prompt Injection（PI）的新方法，通过将提示注入 LM 的参数中，来代替在输入中添加固定提示的方法，以提高其在特定任务上的性能。在实现固定提示较长的情况下，PI 的操作效率比之前的方法高达 280 倍。我
PDF2 years ago
基于 Prompt 对齐的梯度优化方法
本研究提出了 Prompt-aligned Gradient 算法（ProGrad）来防止针对 Prompt 的微调忘记从 VLM 学到的一般知识，并通过实验证明其比现有方法具有更强的 few-shot 泛化能力。
PDF2 years ago
零样本跨语言 Prompt 调整的统一多语言 Prompt 传递
本文提出了一种使用 UniPrompt 的新型模型，其使用单一的多语言 prompt 并且具有语言不可知性，可以显著提高在零样本跨语言设置下的转移性能。
PDF2 years ago
关于 prompt tuning 在自然语言处理中的可迁移性
本文考察了使用预训练的语言模型进行 Prompt tuning (PT) 的有效性，同时也研究了软提示在不同任务和不同模型之间的可迁移性，并发现神经元激活的重叠率是决定软提示可迁移性的重要指标。我们的发现表明，软提示迁移有望改善 PT，并建
PDF2 years ago