Oct, 2023

零迁移连续提示：跨语言模型泛化任务语义

PDF
TL;DR我们提出了一种零射击连续提示转移方法，通过将源提示编码为相对空间，并搜索相应的目标模型来传输，实验证实了我们方法的有效性，连续提示中的 “任务语义” 可以在各种语言模型中进行泛化。此外，我们发现从多个源模型中汇集 “任务语义” 可以进一步增强转移的泛化能力。
发现论文，激发创造
  • 零样机任务推广的提示一致性

    本文探讨了如何利用未标记的数据以提高自然语言处理任务的零样本性能，并通过规范提示一致性来鼓励模型的一致预测，并取得了实验结果上的进展和成果。

    Apr, 2022

  • 多任务提示训练实现零样例任务泛化

    通过将广泛多样的监督数据集转换为易读提示集合的方式，使用预先训练的编码器 - 解码器模型进行多任务学习可以直接导致强大的零 - shot 表现，该方法能够在多个标准数据集上表现出比同类模型大多数情况下强 16 倍的性能，并在 BIG-bench 基准测试中的某些任务上表现出比同类型模型强 6 倍的性能。

    Oct, 2021

  • 关于 prompt tuning 在自然语言处理中的可迁移性

    本文考察了使用预训练的语言模型进行 Prompt tuning (PT) 的有效性，同时也研究了软提示在不同任务和不同模型之间的可迁移性，并发现神经元激活的重叠率是决定软提示可迁移性的重要指标。我们的发现表明，软提示迁移有望改善 PT，并建议进一步研究提示对模型的刺激方法

    Nov, 2021

  • 持续预训练以提高零样本和少样本提示能力

    本研究探讨了在语言模型提示方法中继续预训练阶段是否能够提高零 - shot 以及少量样本情况下语言模型的性能，并通过大规模实验表明使用多任务学习的实时递归预训练策略可将零 - shot 及几轮试验下的效果提高至 31% 相对性能，然而使用元学习方法的继续预训练阶段的性能不佳。我们提出了针对不同应用的具体推荐，以优化语言模型的性能。

    Oct, 2022

  • 贝叶斯多任务转移学习用于软提示调优

    我们提出了一种贝叶斯多任务迁移学习方法，通过后验分布的样本获得代表性的源提示，并将其聚合以构成初始目标提示，无需辅助模型，实现高度参数效率。

    Feb, 2024

  • 软提示检索增强零样本任务泛化能力

    本文探索了通过提示调整获得的软提示如何在零样本推理中协助硬提示，以实现任务泛化。结果表明，此简单方法仅增加了 0.007％的额外参数，但在大型基准测试上提高了 2.39％的平均准确率，对不同评估提示的准确性和鲁棒性有更好的排名。

    Oct, 2022

  • 零样本跨语言 Prompt 调整的统一多语言 Prompt 传递

    本文提出了一种使用 UniPrompt 的新型模型，其使用单一的多语言 prompt 并且具有语言不可知性，可以显著提高在零样本跨语言设置下的转移性能。

    Feb, 2022

  • SPoT: 通过软提示传递实现更好的冻结模型调整

    本文介绍了一种使用少量参数进行预训练语言模型在下游任务中的应用实现，该方法名为 SPoT：Soft Prompt Transfer，通过学习源任务的 prompt 来初始化目标任务的 prompt，从而提升了 Prompt Tuning 的性能，并在语言模型大小上向 SuperGLUE 基准匹配或胜过标准模型调整，同时减少了多达 27,000 倍的任务特定参数，可以通过大规模的实验证明 prompt 的任务可传递性，最后还提出了一种高效的检索方法来识别相似的任务和预测最适合新目标任务的来源任务。

    Oct, 2021

  • 克服提示扰动敏感性的零样本方法

    该研究旨在在零 - shot 设置中找到高质量的 prompt。我们的自动化方法使用位置、推理和释义技术生成多个与基本 prompt 类似的 prompt，然后使用新的度量标准对这些 prompt 进行排名。我们实验证明，排名靠前的 prompt 是高质量的，显著优于基本 prompt 和使用 few-shot learning 生成的 prompt，适用于句子级情感分类任务。

    May, 2023

  • 语义转移的一对多解决方案：持续学习的自适应提示调整

    我们提出了一种自适应提示方法，通过宏观语义分配和微观语义细化的过程，根据任务语义量身定制最小且足够的提示，以提高在真实连续学习环境中学习的效率和效果。实验证明，该方法在适应各种任务中的不同语义转变方面始终优于现有方法。

    Nov, 2023