APrompt4EM:增强提示调优通用实体匹配
该研究提出了一种多级提示调优方法来增强机器阅读理解,通过利用任务特定、领域特定和上下文相关的提示,提高了输入语义在不同层次上的理解能力。同时,引入了独立性约束来避免冗余,并利用上下文相关知识生成合适的提示。在各种问答格式的 12 个基准测试中进行了广泛实验,相比最先进的方法,平均改进率达到了 1.94%。
Oct, 2023
本研究首次探讨了基于生成式口语语言模型 (GSLM) 的提示调整范式用于语音处理任务,实验结果表明,与下游精细调整模型相比,提示调整技术使用的可调参数更少,在语音分类任务中实现了较高性能。
Mar, 2022
CP-Tuning 是第一个无需手动工程任务特定提示和说明符进行微调的端到端对比提示调整框架,它与任务不变的连续提示编码技术和完全可训练的提示参数相集成。
Apr, 2022
本文研究了针对语义分析的提示调整方法,发现在低资源分裂的情况下,提示调整的 T5-xl 能够显著优于其微调和强 GPT-3 和 BART 基线表现。随着模型规模的增大,提示调整的 T5 模型在生成目标表示方面得到了进一步提高。
Oct, 2021
本研究提出了一种名为 “Approximated Prompt Tuning” 的方法,用以提高视觉语言预训练模型的迁移学习效率,其基于软提示令牌的独立信息扩散步骤,从而有效地避免了昂贵的全局关注建模,并显著降低了计算复杂度。
Jun, 2023
本文提出了一种动态提示策略 (DP) 来优化 LMs 的 prompt tuning,通过任务优化、位置、长度和提示表示的动态优化,实验证明 DP 能提高分类准确度,并证明其在全数据、少样本和多任务情况下都是有用的。
Mar, 2023
通过多空间投影和提示融合的方式,我们提出了一种高效的提示调整方法(EPT),旨在解决平衡准确性和效率的问题,同时提升语言模型在不同下游任务上的表现。实验结果表明,相对改进百分比高达 28.8%,训练时间减少了 14%。
May, 2024
本文提出了一种新的连续提示方法,称为上下文调整,用于对预训练语言模型进行微调以进行自然语言生成,可以根据输入文本生成上下文化的提示,然后使用连续的反向提示来改进过程自然语言生成的过程。
Jan, 2022
本研究利用丰富的标签语义信息提出了一种新颖的标签引导数据增强框架 PromptDA,通过有效地利用标签语义和数据增强来提高自然语言理解的性能,以解决如何为基于 Prompt 的 few-shot 调整设计有效的数据增强方法的重要研究问题。
May, 2022