ORCA：通过定位预训练数据海洋中的支持数据证据解释提示型语言模型

May, 2022

ORCA：通过定位预训练数据海洋中的支持数据证据解释提示型语言模型

ORCA: Interpreting Prompted Language Models via Locating Supporting Data Evidence in the Ocean of Pretraining Data

Xiaochuang Han, Yulia Tsvetkov

TL;DR本文旨在探究预训练模型在零样本情况下的特定任务认知。通过对支持数据证据进行迭代使用，可以发现 BERT 在情感分析和文本蕴含任务中对 BookCorpus 预训练数据的大量依赖，以及对掩盖任务动词词汇同义词的预训练示例的依赖。

Abstract

Large pretrained language models have been performing increasingly well in a variety of downstream tasks via prompting. However, it remains unclear from where the model learns the task-specific knowledge, especially in a zero-shot setup. In this work, we want to find evidence of the model's task-specific competence from pretraining and are specifically inter

pretrained language model zero-shot setup supporting data evidence sentiment analysis textual entailment

发现论文，激发创造

超级提示：利用模型无关的语境数据减少视觉常识任务中的数据注释需求

本文研究如何使用 Prompt-based Fine-tuning 技术提高语言模型和多模式因果变换器模型的效果，结果表明使用只有 35%-40% 的训练数据集便能取得可比较的效果，从而达到显著的时间和费用节约。

Apr, 2022

提示性模型是否无能？

该论文研究了少样本提示模型是否也利用了表象线索，发现在 MNLI、SNLI、HANS 和 COPA 数据集上，尽管模型在表象线索实例上表现良好，但在没有表象线索的实例上的性能往往低于或仅略优于随机准确度。

May, 2022

Orca 2: 教授小型语言模型进行推理

Orca 2 通过学习丰富的信号，诸如解释追踪等，使其在 BigBench Hard 和 AGIEval 等基准测试中优于传统的经过指导调整的模型。

Nov, 2023

循环中的语言模型：将提示融入弱监督

本研究提出使用大型预训练语言模型进行弱监督学习的策略，并使用 Snorkel 系统去噪声标签，得到的训练数据可提高分类器的准确性，相比于零样本方法，错误率平均降低 19.5%。此外，该方法所得分类器的准确度相当或高于手动设置的规则。

May, 2022

AdaPrompt：基于提示的自然语言处理自适应模型训练

通过利用任务和提示的特征，AdaPrompt 使预训练语言模型不断预训练，提高了 NLP 方面几个基准测试中的表现，在零样本情况下相对误差降低了高达 26.35％。

Feb, 2022

Orca：从 GPT-4 复杂解释跟踪中渐进式学习

Orca 是一个学习仿真大型模型（LFMs）的推理过程的 130 亿参数模型，通过从 GPT-4 和 ChatGPT 的帮助中获取详细的信号来学习。Orca 在复杂的零 - shot 推理基准测试中的表现超过了 Vicuna-13B 等学习指令调整模型，与 ChatGPT 在 BBH 基准测试中达成并行，并在职业和学术考试中展现出竞争力。

Jun, 2023

POUF: 面向提示的无监督微调大规模预训练模型

本研究提出一种无监督的精调框架，用于快速和直接地向未标记的目标数据进行深度学习模型的预训练，并在图像分类、情感分析和自然语言推理任务中实现了持续的改进。

Apr, 2023

挖掘式零样本学习：基于语言模型的搜索方法

本文提出了一种使用正则表达式从未标记语料库中挖掘标记示例的替代模板提示方法，通过微调预训练模型，相比模板提示方法更加灵活和可解释，在使用相似模板时在多个任务中表现出更好的性能。

Oct, 2022

大语言模型的公平指导少样本提示

本文提出了一个度量标准，评估了一个固定提示对标签或给定属性的预测偏差，并提出了一种新的基于贪心搜索的搜索策略来确定最佳提示，以提高上下文学习的性能，并在多种下游任务中使用 GPT-3 等最先进的主流模型进行全面实验。结果表明，我们的方法可以有效提高模型的在上下文学习性能。

Mar, 2023

面向知识图谱填充的任务特定预训练和提示分解方法

描述一个知识图谱填充系统，通过特定任务的预训练提高被屏蔽对象令牌的 LM 表示，分步生成候选对象的提示分解等方法提供高质量的检索。该系统赢得了 ISWC 2022 举办的 LM-KBC 挑战赛的赛道 1，并在 BERT LM 上实现了 55.0％的 F-1 得分。

Aug, 2022