prompt-tuning | BriefGPT - AI 论文速递

关键词prompt-tuning

搜索结果 - 28

IntCoOp：可解释性感知的视觉 - 语言提示调优
通过引入属性级归纳偏差和类嵌入来提高图像 - 文本对齐分数的一种新颖的和可解释的提示调优方法。我们通过在 CLIP 上的广泛实验中评估 IntCoOp 来证明其有效性，并发现在 10 个不同领域的下游数据集上，引入属性级归纳偏差能够比现有的
PDF15 days ago
通过文本摘要进行标题点击热点检测的提示微调
通过文本摘要总结内容，并根据生成的摘要与内容之间的相似性进行 clickbait 检测，本文提出了一种基于提示调整的 clickbait 检测方法，该方法通过预训练语言模型产生高质量的新闻摘要，并将头条和新生成的摘要作为提示调整的输入，采用
PDF3 months ago
MoPE: 通过混合提示专家实现参数高效且可扩展的多模态融合
通过分解原始提示，基于混合提示专家（MoPE）技术实现了适应性捕获数据集级别和实例级别特征，并借助多模态配对先验在每个实例上选择最有效的提示语，从而提高了多模态融合的表达能力和可扩展性。在专家路由方面引入了正则化项，导致不同专家专注于不同概
PDF4 months ago
ICLRBayesPrompt: 通过去偏领域抽象在少样本推断中对大规模预训练语言模型进行提示
通过将已知分布近似为去偏的目标领域的真实分布，并从近似分布中均匀采样一定的代表性特征，生成 PLMs 的最终提示，我们的方法在基准测试中实现了最先进的性能。
PDF5 months ago
一种新颖的示例调整方法：将特定场景概念融入到语言化生成模型中
我们提出了一种新颖的方法来构建标签器，该方法通过从任务特定的场景中提取丰富的概念作为标签词候选者，并开发了一种新颖的级联校准模块来将候选词精炼为每个类的标签词集合，在零样本文本分类的广泛实验中，我们的方法表现优于现有方法，并取得了最新的结果
PDF6 months ago
AAAI多视角解耦学习改进低资源基于提示的关系表示
在低资源情境下，通过多视角关系表示的基于提示的方法（MVRE）能够有效提高关系抽取任务的性能，并在三个基准数据集上达到了最先进的低资源表现。
PDF6 months ago
参数高效调整实现 LLMs 的可扩展个性化：基于缩写扩展的案例研究
缩写展开是一种通过限制打字量并使用语言模型建议展开来加快沟通的策略。本文研究了基于之前对话进行个性化的大型语言模型（LLM）建议，以增强预测的相关性，尤其是在用户数据较少（~1000 个样本）的情况下。我们比较缩写输入的 fine-tuni
PDF6 months ago
EMNLP通过大型语言模型和有限状态解码约束改善长篇演讲翻译
通过将大型语言模型（LLM）用于将长 ASR 转录分割成可独立翻译的片段，以最大化整体翻译质量，采用有限状态约束进行解码以消除无效输出，通过提示调整或微调发现 LLM 可适应包含 ASR 错误的转录，与现有自动标点基线相比，我们最佳的 LL
PDF8 months ago
模型调整还是提示调整？针对临床概念和关系提取的大型语言模型研究
开发用于大型语言模型的软提示学习算法，研究词干的形状、使用冻结 / 非冻结语言模型进行文字调优、迁移学习和少样本学习的能力。
PDF9 months ago
IJCAI微调与提示微调的监督表示：哪种更好地解释了大脑语言表示？
通过比较 prompt-tuning 和 fine-tuning 的表示，在神经解码方面，我们发现对于 10 个自然语言理解任务，prompt-tuning 优于 fine-tuning，表明更符合大脑的调节方法获得的表征与脑部数据更相关。
PDF9 months ago
LMSanitator: 防御无关任务后门的提示调整
通过反向任务 - 不可知背门攻击的矢量预定义以避免调整反向触发器，LMSanitator 实现了更好的收敛性能和背门检测准确性，同时利用 prompt-tuning 的特性在推断阶段进行准确快速的输出监视和输入净化。
PDF10 months ago
ACL属性控制的对话提示
该论文介绍了一种新颖的基于实例控制代码的提示调整算法来探索其对于对话生成的影响，该算法不同于传统的离散提示和连续提示，可以适应输入变化较大的任务，如开放领域对话生成，并在经典数据集上实验证明其比提示基线更好，而参数却只需用到总计量的 5-6
PDFa year ago
ViNT: 视觉导航的基础模型
本文介绍了使用 ViNT 作为基础模型来解决基于视觉的机器人导航问题，并通过灵活的 Transformer 架构提高了 ViNT 在不同任务中的适应性和迁移性能，同时允许其与由 GPS 路径或路线指令等嵌入式任务模式进行编码的目标编码器进行
PDFa year ago
基于提示的填空数据增强生成式少样本问答
本研究开发了 Gotta，一种基于生成式提示的的数据增强框架，旨在改善 few-shot question answering 学习中深层语义推理的挑战。研究表明，Gotta 始终优于竞争基线，验证了基于提示调整的背景填充任务的有效性，在
PDFa year ago
ICML论注意力在提示调整中的作用
本文针对单层的注意力机制和上下文混合模型，探究了 Prompt-tuning 的策略，并分析了 Prompt 在梯度下降过程中学到的规律和其在上下文中的表现，最终提出了有关 Prompt-tuning 的理论解释和实验验证。
PDFa year ago
ACL通过提示微调控制大型语言模型中已记忆数据的提取
本文采用提示调参的方法控制大型语言模型的记忆内容的提取率，通过基于 GPT-Neo 家族模型的公共基准测试，展示了我们的攻击和防御策略的有效性，实现了相对于基线的提取率增加和减少，最多可以相对于基线降低 97.7% 的提取率，附加的困惑度增
PDFa year ago
具备偏好排名的 Prompt-Tuning 决策 Transformer
本文提出了 Prompt-Tuning DT 算法，使用轨迹段作为提示来指导强化学习（RL）代理获取环境信息并通过黑盒调整来优化提示，以提供更多相关信息和指导代理走向特定任务的方向，在低数据情况下仅学习 0.03％的参数即可实现与全模型微调
PDFa year ago
跨语言关系抽取的 Prompt 学习
本研究提出了一种基于 Prompt-Tuning 的 XRE 算法，使用多语言 Pre-trained 语言模型，通过硬性提示、软性提示、混合提示等多个提示模板来改进 XRE 的效果，实验表明我们的算法在多语言环境下有显著的效果并且在新数据
PDFa year ago
DreamArtist: 通过对比度提示调整实现可控的一次性文本到图像生成
DreamArtist 是一种简单有效的方法，采用正负 prompt-tuning 学习策略，在保持生成可控性的同时生成多样化高质量图片，相比现有方法具有更出色的生成表现。
PDF2 years ago
EMNLP双向迭代 Prompt 调整用于事件论元提取
本文提出了一种双向迭代 prompt-tuning 方法用于事件论元提取，将该任务视为填空式任务以充分利用实体信息和预训练语言模型（PLMs），通过引入上下文实体的论据角色来探索事件论证交互，并利用角色标签语义知识构建语义化言化器并为 EA
PDF2 years ago