本文探讨了基于问题提示的探测方法可能存在的偏见、不一致性和不可靠性，强调了通过因果干预来消除偏差的必要性，并提出了更好的数据集设计、探测框架和更可靠的预训练语言模型评估标准。

Mar, 2022

本文提出了一个度量标准，评估了一个固定提示对标签或给定属性的预测偏差，并提出了一种新的基于贪心搜索的搜索策略来确定最佳提示，以提高上下文学习的性能，并在多种下游任务中使用 GPT-3 等最先进的主流模型进行全面实验。结果表明，我们的方法可以有效提高模型的在上下文学习性能。

Mar, 2023

在该项目中，我们探索了新兴的提示工程领域，并将其应用于检测语言模型偏见的下游任务。具体而言，我们研究如何设计能够指示 4 种不同类型偏见（性别、种族、性取向和基于宗教）的提示。我们在多个流行和公认的模型（BERT、RoBERTa 和 T5）的不同变体上应用这些提示来评估其偏见。我们提供了这些模型的比较分析，并采用两种方法进行评估：使用人的判断来决定模型预测是否存在偏见，并利用模型级别的判断（通过进一步的提示）来了解模型是否能够自我诊断其预测的偏见。

Sep, 2023

本文探讨在情感分类任务上使用软提示调整识别大型语言模型（LLMs）如 OPT 和 Galactica 语言模型中的偏见，使用群体公平性（偏见）来检查模型偏见，并发现有趣的偏见模式，以便在实践中部署这些模型之前，识别这些偏见。

Jun, 2023

我们提出了一种空输入提示方法，通过使用来自 GPT-4 的多样化的空意义输入来为预训练语言模型的内在偏差校准提供基准，从而提高了零 / 少样本学习的性能。

Feb, 2024

通过将已知分布近似为去偏的目标领域的真实分布，并从近似分布中均匀采样一定的代表性特征，生成 PLMs 的最终提示，我们的方法在基准测试中实现了最先进的性能。

Jan, 2024

本研究提出了知识提示范式和基于知识提示的 Pre-trained 语言模型 KP-PLM 框架，该框架通过多种连续提示规则将知识子图转化为自然语言提示，并在这些提示的基础上提出了两个新的知识感知无监督任务，实验证明了 KP-PLM 在多个自然语言理解任务中的优越性。

Oct, 2022

利用自动化方法生成的 AutoPrompt，我们展示了预训练语言模型在自然语言推理、情感分析和关系提取方面的潜在能力，以及自动生成的提示方法是现有探究方法的一个可行的无参数替代方法。

Oct, 2020

对抗虚假新闻，提出了基于 PLM 和 Prompt-based learning 的两种方法，均采用文本数据，结果表明该方法比仅微调 PLMs 更优。

Jun, 2022

本文主要介绍了使用 cloze-style prompts 和 OptiPrompt 等方式，旨在通过预训练语言模型来检索世界事实，并使用 fact prediction 等方式来确定模型预测准确性，并考虑这些 probing 结果是否被解释为下界，而不是固化自己的 prompt 方法从训练数据中获得的信息。

Apr, 2021