prefix-tuning | BriefGPT - AI 论文速递

关键词prefix-tuning

搜索结果 - 10

预训练变压器可作为通用逼近器
通过 prompt tuning 和 prefix-tuning，本论文探讨了预训练模型能否被任意修改以逼近序列到序列函数，证明了通过加前缀可以使比先前认为的更小的预训练模型成为普遍逼近模型。此外，本论文还给出了逼近函数所需前缀长度的限制。
PDF4 months ago
以用户为中心的前缀调优是个性化图像字幕的良好学习器
我们提出了一种个性化的图像描述框架，通过融合用户上下文以考虑个性因素并从一个冻结的大型语言模型中提取知识来减小不同语言领域之间的差距，提高了模型的效率和效果。我们的模型在 Instagram 和 YFCC100M 数据集上比现有基准模型表现
PDF7 months ago
提示和前缀微调何时有效？能力和限制的理论
基于上下文的微调方法，包括提示、上下文学习、软提示（也称为提示微调）和前缀微调，由于能够在参数的一小部分范围内经常达到完全微调的性能，因此受到了广泛的关注。尽管这些方法在实证上取得了成功，但对于这些技术如何影响模型的内部计算和它们的表达能力
PDF8 months ago
用合成任务教授语言模型减少产生幻觉
通过合成任务对大型语言模型进行系统信息优化，可降低其在真实任务中的错误生成，从而减少幻觉现象。
PDF9 months ago
ACL对话状态跟踪领域自适应的零样本自适应前缀
Prompter 提出了一种使用目标领域槽的描述生成动态前缀的方法，从而使得可以在零样本情况下使用前缀调整。该方法在 MultiWOZ 和 SGD 基准测试中均优于以前的方法。
PDFa year ago
ACLPIP: 基于解析指导的前缀法用于句法控制的释义生成
提出一种名为 PIP 的新型前缀调整模型，可以在较低计算成本和较少的学习参数的情况下，在特定的句法结构下执行重述生成任务，并显著提高语法控制信息的捕获和性能。
PDFa year ago
百万级跨语言条款级联结构转换器
本文介绍了我们在 MRL 2022 胜出的系统，主要探索了基于 transformers 的两种方法：从头训练模型结合数据增强以及在多语言词形态任务中进行前缀调校的迁移学习，其中数据增强显著提高了大多数语言的词形和重构任务的性能，而前缀调校
PDF2 years ago
EMNLPInducer-tuning: 连接 Prefix-tuning 和 Adapter-tuning
本文提出了通过核方法理解 prefix-tuning，并将其发展为 inducer-tuning 来提高其性能，通过自然语言理解和生成任务的综合实验，证明了 inducer-tuning 可以缩小 prefix-tuning 和 fine-
PDF2 years ago
ICLR文本分类的鲁棒前缀调优
提出一种保持 prefix-tuning 的有效性和模块化性的鲁棒性前缀调谐方法，通过正确分类的数据作为附加前缀调谐的标准，使用语言模型的层激活来增强鲁棒性，并通过针对每个批次的额外批量级前缀来提高鲁棒性。实验证明，该方法在多个基准测试中执
PDF2 years ago
Prefix-Tuning: 优化连续提示用于生成任务
本文提出字首调整 (prefix-tuning)，来解决专用模型使用全量预训练语言模型的空间问题，自动学习小、定制化的向量。通过应用于自然语言生成和文本总结，仅使用 0.1% 的参数即能达到很好的性能。
PDF4 years ago