本研究提出使用大型预训练语言模型进行弱监督学习的策略，并使用 Snorkel 系统去噪声标签，得到的训练数据可提高分类器的准确性，相比于零样本方法，错误率平均降低 19.5%。此外，该方法所得分类器的准确度相当或高于手动设置的规则。

May, 2022

使用结构化提示技术，我们证明了预先训练的语言模型（PLMs）可以在零或少量样本情况下执行标记任务，而不是仅靠表面级别的词汇模式，这表明 PLMs 包含了一种通用的语言学知识表示方式。

Nov, 2022

使用弱监督和微调大型语言模型（LLM）的方法，在几乎没有领域知识的情况下，能够在性能上显著优于传统的有限的标准数据的监督方法，利用基于提示的方法，LLM 生成弱标记数据来训练下游的 BERT 模型，然后将弱监督模型进一步在少量的标准数据上进行微调，通过评估发现该方法优于 out-of-the-box PubMedBERT 4.7% 至 47.9% 的 F1 得分。

Jun, 2024

本文提出了一种基于提示的弱监督学习方法，用于在未标记的数据上获取嘈杂的标签，并在许多口语理解任务上取得了可靠的表现，优于传统的规则方法和其他竞争性的低资源基准。

Jun, 2022

通过结构约束和组合推理，我们构建了一种基于提示的方法用于零和少样本的语言结构预测，在两个结构预测任务和五个数据集上的结果表明，强制一致性不仅构建了结构上有效的输出，而且还改善了性能。

Jan, 2024

我们的论文引入了结构引导提示，这是一个创新的三阶段任务无关提示框架，旨在提高大型语言模型在零样本环境下的多步推理能力。通过将非结构化文本转换为图形，指导模型在图形中导航，并使用任务特定的策略来制定响应，我们的实验表明这一框架显著增强了大型语言模型的推理能力，使其在更广泛的自然语言场景中表现出色。

Feb, 2024

自回归大语言模型已经改变了自然语言处理领域的格局。基于预训练和提示范式的方法已经取代了常规的预训练和微调方法用于许多下游自然语言处理任务。本文讨论了已经在自回归大语言模型上使用的各种提示技术，提供了一个基于这个分类体系的简明调研，并且确定了自回归大语言模型中提示领域的一些未解决问题，可作为未来研究的方向。

Nov, 2023

该研究介绍了分解提示方法，用于探究英语为中心的大型语言模型在序列标注任务中对语言结构的理解能力，其研究结果表明分解提示优于迭代提示基线，在零样本和少样本情况下具备更高的效用和效率，并发现评估方法和提示中的指令使用对结果有影响，同时发现英语为中心的语言模型在多语言任务中表现优于多语言模型，从而对英语为中心的语言模型的多语言可迁移性进行了深入研究，为了解其多语言语言知识做出了贡献。

Feb, 2024

本研究提出一种称为分层提示调整的新方法，利用大语言模型（LLMs）建立描述每个类别的图形模型，以模拟描述类别的实体和属性及其相关性，并通过引入关系引导注意模块来捕捉实体和属性之间的关联，以及通过结合整体语义建模来处理更复杂和长期的关系。实验结果表明，我们的方法具有很强的效果，并且比现有的最先进方法具有更好的泛化性能。

Dec, 2023

该研究通过开发一种对比自训练框架 (COSINE) 来解决使用弱监督 fine-tune 预训练语言模型 (LMs) 时的过拟合问题，实验证明该方法在自然语言处理的多个任务中表现优异。

Oct, 2020