Nov, 2022

零标签提示选择

PDF
TL;DR提出一种不依赖标签数据或梯度更新的 “零标签提示选择” 方法（ZPS），通过使用伪标签的方式来选择最优的提示，实现零标签任务的高性能。在零标签性能方面，ZPS 显著改善了先前方法，并将其扩展到少量样本的情况下，表现优于强基线模型。
natural language promptscross-task generalizationzero-label prompt selectionpseudo-labelsfew-shot setting
发现论文，激发创造
  • 零样机任务推广的提示一致性

    本文探讨了如何利用未标记的数据以提高自然语言处理任务的零样本性能，并通过规范提示一致性来鼓励模型的一致预测，并取得了实验结果上的进展和成果。

    Apr, 2022

  • 通用自适应提示

    通过研究，我们提出了一种自适应提示设计方法，能够使用只有少量未标记的数据和仅推理的 LLM 实现广泛的零 - shot 学习，该方法通过将 NLP 任务分类为三种类型，并使用相应的选择器选择最合适的查询和零 - shot 模型生成的响应作为伪证明，以完全自动化的方式将 ICL 推广到零 - shot 设置，从而呈现与少量 - shot 基线可比甚至优于的表现。

    May, 2023

  • 克服提示扰动敏感性的零样本方法

    该研究旨在在零 - shot 设置中找到高质量的 prompt。我们的自动化方法使用位置、推理和释义技术生成多个与基本 prompt 类似的 prompt，然后使用新的度量标准对这些 prompt 进行排名。我们实验证明，排名靠前的 prompt 是高质量的，显著优于基本 prompt 和使用 few-shot learning 生成的 prompt，适用于句子级情感分类任务。

    May, 2023

  • ZeroPrompt：通过扩展预训练任务数到 1,000 项，提高零样本推理能力

    本文提出了一种多任务预训练方法 ZeroPrompt，它可以在很多任务上进行训练，并且可以显著提高零样本学习的效率和性能。

    Jan, 2022

  • 在零样本设置中评估多项选择任务的提示

    本文研究大型语言模型如何通过自然语言提示实现令人印象深刻的零 - shot 性能，归纳和标准化提示任务属性后，发现包含选项和使用未在预训练中使用的提示可以显著提高性能。

    Mar, 2022

  • HealthPrompt: 临床自然语言处理的零样本学习范式

    本研究提出了一种基于最新的技术，即零样本学习和提示学习，开发了一种名为 HealthPrompt 的新型基于提示的临床自然语言处理 (NLP) 框架，通过在无数据环境下进行了六个不同的预训练语言模型 (PLM) 的实验，证明了提示能够有效地捕捉临床文本的上下文，并且可以在没有任何训练数据的情况下取得显著的表现。

    Mar, 2022

  • 多任务提示训练实现零样例任务泛化

    通过将广泛多样的监督数据集转换为易读提示集合的方式，使用预先训练的编码器 - 解码器模型进行多任务学习可以直接导致强大的零 - shot 表现，该方法能够在多个标准数据集上表现出比同类模型大多数情况下强 16 倍的性能，并在 BIG-bench 基准测试中的某些任务上表现出比同类型模型强 6 倍的性能。

    Oct, 2021

  • 预训练语言模型可完全零样本学习

    本文提出了一种基于预训练语言模型的无参考学习方法 NPPrompt，能够有效扩展一个预训练模型到多个语言理解任务，且不需要标注数据或附加未标注语料库进行微调。实验结果表明，NPPrompt 在文本分类和 GLUE 基准测试等任务中具有比以前最好的全零样本方法更高的绝对增益。

    Dec, 2022

  • 零迁移连续提示：跨语言模型泛化任务语义

    我们提出了一种零射击连续提示转移方法，通过将源提示编码为相对空间，并搜索相应的目标模型来传输，实验证实了我们方法的有效性，连续提示中的 “任务语义” 可以在各种语言模型中进行泛化。此外，我们发现从多个源模型中汇集 “任务语义” 可以进一步增强转移的泛化能力。

    Oct, 2023

  • 预训练语言模型为什么比零 / 少样本学习者更好？

    本文提出了一种理论框架，以解释在零 / 少样本场景下提示学习的功效，我们进一步假设语言差异可以衡量提示的质量，并且通过基于 perplexity 的注释无关模板选择方法，使我们能够提前预测提示性能。

    Sep, 2022