Jan, 2024

注意格式：实现对上下文学习改进的一致评估

PDF
TL;DR大语言模型在解决新任务方面表现出了非凡的能力。本研究在大语言模型的上下文学习性能中探究了输入示例的格式对模型性能的影响，并提出了使用多个模板进行模型预测的模板集成方法，以提高模型性能并减少模板选择的影响。
large language modelsprompt templatein-context learningperformance evaluationtemplate ensembles
发现论文，激发创造
  • 大语言模型的公平指导少样本提示

    本文提出了一个度量标准，评估了一个固定提示对标签或给定属性的预测偏差，并提出了一种新的基于贪心搜索的搜索策略来确定最佳提示，以提高上下文学习的性能，并在多种下游任务中使用 GPT-3 等最先进的主流模型进行全面实验。结果表明，我们的方法可以有效提高模型的在上下文学习性能。

    Mar, 2023

  • 量化语言模型对触发设计中伪特征的敏感性，或：我如何开始担忧触发格式

    大语言模型的关键因素在于提示设计对其性能会产生巨大影响，通过许多方面的分析研究，我们发现几种常用开源大语言模型对微妙的提示格式变化具有极高的敏感性，这种敏感性在不断增加模型大小、样本数量或进行指令调整时仍然存在。

    Oct, 2023

  • 注意指令：基于提示的学习中一致性和交互的整体评估

    通过系统、全面的评估，本研究发现预训练语言模型的适应任务方式中的设计选择会造成不稳定性和不一致性的问题，并指出在大多数场景中应该避免或小心处理哪些因素。

    Oct, 2023

  • 结构化提示：将上下文学习扩展到 1,000 个例子

    通过引入结构化的提示，在线学习中处理更多的实例。

    Dec, 2022

  • 反演上下文学习：通过破坏理解提示

    通过对大语言模型进行随机组成的实验，研究了任务描述、示例输入、标签、行内指令等多个因素对模型性能的影响，发现重复文本、大型模型以及任务和行内指令对模型性能提升具有积极影响。

    Apr, 2024

  • 面向情境学习的信息丰富的少样本提示与最大信息增益

    本文研究了大型语言模型 (Large Language Models, LLMs) 在上下文学习 (In-context Learning, ICL) 方面的能力和稳定性问题，并提出了通过量化数据示例的信息增益 (Information Gain, IG) 来选择具有最大信息增益的样本的方法，同时引入了模板偏差 (template bias) 的校准策略，实验证明该方法能够显著提升三种 LLMs 在六个分类任务上的性能。

    Oct, 2023

  • 提示驱动模型真正理解其提示的含义吗？

    本研究证实了即使是故意无关或甚至有误导性的提示，也可以让一些零样本或少样本学习模型像 “好” 的提示一样快地进行学习，这一模式适用于模型尺寸大小，这引出一个问题，问这种改进是不是源于模型像人类一样理解掌握任务提示。

    Sep, 2021

  • 超级提示：利用模型无关的语境数据减少视觉常识任务中的数据注释需求

    本文研究如何使用 Prompt-based Fine-tuning 技术提高语言模型和多模式因果变换器模型的效果，结果表明使用只有 35%-40% 的训练数据集便能取得可比较的效果，从而达到显著的时间和费用节约。

    Apr, 2022

  • 大型语言模型对日语提示的敏感性和鲁棒性

    本文通过全面评估几个代表性的大型语言模型（LLMs）和广泛使用的预训练模型 T5，在基准日语数据集上对这些模型进行了审查，旨在评估和分析当前跨语言模型在这一背景下的性能，并提出了潜在的研究路径，以进一步提高大型语言模型在稳定性方面的性能。

    May, 2023

  • 基于提示的多任务学习中社交偏见的测量

    本论文探讨了在多任务文本生成模型中，使用问题 - 答案格式输入与前提 - 假设格式输入是否会影响模型的社会偏见，并使用两个基准测试评估了 T0 模型在其中的表现，结果表明前者会使得模型表现出更多的社会偏见。

    May, 2022