Oct, 2023

实例需更加小心：为实例重写提示可提高零 - shot 性能

PDF
TL;DR为了提高大型语言模型的零样本性能，我们提出了 PRoMPTd 方法，通过为每个测试输入重写任务提示来实现更具体、明确和完整的指导，实现了对不同任务的更好解决方案，并提供了更好的解释性以应对对抗性提示。
large language modelszero-shot promptingpromptdtask instructionstest instances
发现论文，激发创造
  • 零样机任务推广的提示一致性

    本文探讨了如何利用未标记的数据以提高自然语言处理任务的零样本性能，并通过规范提示一致性来鼓励模型的一致预测，并取得了实验结果上的进展和成果。

    Apr, 2022

  • 多任务提示训练实现零样例任务泛化

    通过将广泛多样的监督数据集转换为易读提示集合的方式，使用预先训练的编码器 - 解码器模型进行多任务学习可以直接导致强大的零 - shot 表现，该方法能够在多个标准数据集上表现出比同类模型大多数情况下强 16 倍的性能，并在 BIG-bench 基准测试中的某些任务上表现出比同类型模型强 6 倍的性能。

    Oct, 2021

  • Plan-and-Solve Prompting: 通过大型语言模型改进零样本思维链推理

    通过使用 “Let's think step by step” 等输入提示来生成排列步骤，Plan-and-Solve (PS) Prompting 解决了 Zero-shot-CoT 存在的缺失计算错误，缺失步骤错误和语义误解错误，是一种有效的零次提示策略，能够在数学推理问题上与 8-shot CoT 提示相媲美，并优于 Zero-shot-CoT 和 Zero-shot-Program-of-Thought 提示。

    May, 2023

  • 探究预训练语言模型的抽奖提示

    本文提出了一种基于逐个样例级别的 Prompt 搜索方法，然后使用 Prompt 集成方法将搜索到的强彩票 Prompts 推广到未见过的数据上。实验结果表明，该方法与其他无梯度、无优化基线方法相比能够取得可比的结果。

    May, 2023

  • 大型语言模型的提示式编程：超越少样本范式

    使用 GPT-3 模型分析得出少量样例引导更接近于已学习的任务，本文探讨使用自然语言编程来优化引导，提出元引导概念后能够生成更多的任务自然语言引导，展望这些方法如何应用于实践应用。

    Feb, 2021

  • 关于上下文学习中零样本提示设计的实际调查

    该论文综述了大型语言模型在自然语言处理任务中的重要性，并聚焦于不同类型的提示（如离散、连续、少样本和零样本）及其对模型性能的影响。论文探讨了手动设计、优化算法和评估方法等多种提示设计方法，以优化模型在不同任务中的性能。此外，论文还讨论了评估提示性能所面临的挑战，并指出了提示设计在充分利用大型语言模型的潜力中的关键作用，为在自然语言处理任务中更有效、更高效地使用大型语言模型提供了启示。

    Sep, 2023

  • 零样本分类中的提示复杂度导航：计算社会科学中大型语言模型的研究

    在计算社会科学分类任务中，评估了 ChatGPT 和 OpenAssistant 两种公共可访问的 LLM 的零次效果，并研究了各种提示策略的影响。发现在零次设置下，当前 LLMs 无法与较小的经过微调的基线变压器模型（如 BERT）的性能匹配。此外，发现不同的提示策略可以显着影响分类准确性，准确性和 F1 分数的差异超过 10％。

    May, 2023

  • ZeroPrompt：通过扩展预训练任务数到 1,000 项，提高零样本推理能力

    本文提出了一种多任务预训练方法 ZeroPrompt，它可以在很多任务上进行训练，并且可以显著提高零样本学习的效率和性能。

    Jan, 2022

  • 零样本策略学习的极简提示

    通过在任务参数上进行调节，基于 Transformer 的模型展现出了与依赖演示任务相当甚至更好的零样本泛化能力。

    May, 2024

  • 大型语言模型是否真正理解提示语？一个否定提示案例研究

    本研究发现，在处理否定提示的任务时，语言模型的大小与其零 - shot 表现之间不存在按比例的关系，而是一种倒数的规律，并指出目前的 LMs 和方法存在重要限制。作者呼吁学术界开发新的方法来开发真正遵循给定指令的 LMs，并提供了探索否定提示的代码和数据集。

    Sep, 2022