ICMLFeb, 2021

使用前校准：提高语言模型的少样本性能

PDF
TL;DR探究了 GPT-3 的 few-shot 学习的不稳定性，发现这种不稳定性来自于语言模型偏向性，经过文本校准，这种偏向得到了有效的改善，平均准确率可以提高 30%。
gpt-3few-shot learninginstabilitylanguage model biascontextual calibration
发现论文，激发创造
  • 语言模型是少样本学习器

    在大规模预训练语言模型上进行 fine-tuning 可以显著提高模型在 NLP 任务中的任务值线表现，同时还证明了 scaling up 语言模型可以大大改善任务独立的 few-shot learning 表现，并探讨了 GPT-3 模型优势和局限性。

    May, 2020

  • 基于提示的偏差校正以提升语言模型的零 / 小样本学习

    我们提出了一种空输入提示方法，通过使用来自 GPT-4 的多样化的空意义输入来为预训练语言模型的内在偏差校准提供基准，从而提高了零 / 少样本学习的性能。

    Feb, 2024

  • 促进 GPT-3 的可靠性

    本研究为了提高 OpenAI GPT-3 的可靠性，将其可靠性分解为四个方面：泛化性、社会偏见、校准性和事实性，并建立了简单有效的提示来提高其可靠性。通过适当的提示，GPT-3 在所有这些方面都比规模较小的监督模型更可靠。

    Oct, 2022

  • 大语言模型的公平指导少样本提示

    本文提出了一个度量标准，评估了一个固定提示对标签或给定属性的预测偏差，并提出了一种新的基于贪心搜索的搜索策略来确定最佳提示，以提高上下文学习的性能，并在多种下游任务中使用 GPT-3 等最先进的主流模型进行全面实验。结果表明，我们的方法可以有效提高模型的在上下文学习性能。

    Mar, 2023

  • 大型语言模型的提示式编程：超越少样本范式

    使用 GPT-3 模型分析得出少量样例引导更接近于已学习的任务，本文探讨使用自然语言编程来优化引导，提出元引导概念后能够生成更多的任务自然语言引导，展望这些方法如何应用于实践应用。

    Feb, 2021

  • 奇妙有序提示的发现之处：克服少样本提示顺序敏感性

    通过确定培训示例的排列顺序，本文研究了少样本学习，探究其对预训练语言模型在文本分类任务上的表现，结果发现使用示例的循序排列可以提升 13% 的性能。

    Apr, 2021

  • 通过困惑度估计解密语言模型中的提示

    通过对语言模型的提示和降低困惑度等优化，可以改善模型在 zero-shot 学习中的性能。

    Dec, 2022

  • 教授模型用语言表达不确定性

    本文证明了 GPT-3 模型可以学习在自然语言中表达关于自己答案的不确定性，并且能够在分布转移下保持中度校准，同时提供了证据表明 GPT-3 的校准能力依赖于与其答案的认识不确定性相关的预训练潜在表示。

    May, 2022

  • 让预训练语言模型成为更好的少样本学习者

    LM-BFF 提出了一种改进的面向小型语言模型的少样本 fine-tuning 方法以提升在多种 NLP 任务上的性能。通过与传统的 fine-tuning 方法相比，LM-BFF 组合的技术在低资源环境下具有显著改进，最高可达 30％，平均提高 11％。

    Dec, 2020

  • 语言模型 Few-shot 学习的基准校准

    本文提出了原型校准方法，用于零样本和少样本分类中自适应地学习更健壮的决策边界，以替代贪婪解码。实验结果表明，原型校准在各种任务中都有显著的提高，从而极大地提高了 GPT 对不同模板、排列和类别不平衡的鲁棒性。

    May, 2022