该研究通过使用大型语言模型（LLMs）对零样本超级类别预测进行研究，基于文本概率计算方法，进行多种生成提示的应用。实验证明，语言模型提示的有效性与经典模式之间存在着强关联，这表明可以在使用较大模型之前，通过较小模型进行初步提示选择。我们还通过自动识别的共同下义词，探究了预测共同下义词和提高超级类别预测的提示增强方法。针对预测更高级概念，我们开发了一个迭代式方法，这进一步提高了 BLESS 数据集的质量（MAP = 0.8）。

Jan, 2024

本文重点研究了零样本多标签文档分类在人力资源领域的实际税分类扩展情景下的应用，实验表明，相对于传统的多标签分类器，零样本分类器可以实现 12% 的平均精度（macro-AP）的增长。另外，本文还提出了采用推荐系统领域中的筛选 / 重排序分解技术可以显著降低性能非常高的零样本分类器的计算负荷。

Aug, 2022

通过使用基于指令的精调大型语言模型（LLMs），本研究提出了一种无监督方法来自动生成和扩展主题分类法。我们运用主题建模和关键词提取技术创建初始主题分类法，并使用 LLMs 对结果进行后处理以创建层次结构。为了通过新术语扩展现有分类法，我们使用零样本提示来确定在何处添加新节点，这是首次在分类任务中提出此种方法。我们使用生成的分类法为来自零售银行数据集的商户分配标签。为了评估我们的工作，我们请 12 位志愿者回答一个两部分的表格，首先评估创建的分类法质量，然后评估基于该分类法为商户分配的标签。评估结果显示所选分类法的一致性率超过 90％，而商户分配的平均一致性超过 80％。

Jan, 2024

本文介绍了一种新颖的方法，可以将 LLMs 高效地提炼成更小的、面向特定应用的模型，显著降低运营成本和人工劳动。该方法利用 LLMs 的推理能力为无标签数据生成标签和自然语言解释，从而在有限数据和计算资源情况下增强模型的微调和提炼效果。其中关键贡献包括使用零样本提示获取教师模型的解释，减少手工制作的小样本示例的需求，并降低令牌数，这直接转化为主要技术公司 LLM API 的按令牌计费模式下的成本节约。此外，本文还研究了解释特性对提炼效率的影响，并证明了即使在整个数据集上未应用理由增强时也几乎不会导致性能损失，从而进一步减少了令牌数量。这项研究是朝向最小化人工干预、高效训练特定任务模型的一步，提供了大幅降低成本并保持甚至增强性能的可能性。

Mar, 2024

在计算社会科学分类任务中，评估了 ChatGPT 和 OpenAssistant 两种公共可访问的 LLM 的零次效果，并研究了各种提示策略的影响。发现在零次设置下，当前 LLMs 无法与较小的经过微调的基线变压器模型（如 BERT）的性能匹配。此外，发现不同的提示策略可以显着影响分类准确性，准确性和 F1 分数的差异超过 10％。

May, 2023

提出一种用于处理层级数据集的指示性长尾预测任务的方法，并结合蕴含 - 矛盾预测来解决大语言模型在零样本设置下容易失败的局限性。

May, 2023

本文研究了使用自然语言实现零样本模型对新任务的自适应性，通过社交评论平台的文本和元数据作为简单的预训练任务，并提供分类任务的自然语言描述作为输入训练语言模型，以生成正确答案的方式进行自然语言的模型推广，克服了多任务分类的缺点，在六个基准文本分类数据集上训练出具有零样本性能的生成性语言模型，结果显示语言可以作为任务自适应的简单而强大的描述符，这为文本问题的新元学习策略指明了方向。

Dec, 2019

本文旨在探究是否可以利用预训练的多语言语言模型，对于没有训练数据的语言进行零样本跨语言关键字提取，并且比较它们与无监督关键字提取器的表现差异。研究结果表明，预训练模型在所有六种语言中都能在零样本条件下，比无监督模型表现更好。

Feb, 2022

本文提出了一种使用正则表达式从未标记语料库中挖掘标记示例的替代模板提示方法，通过微调预训练模型，相比模板提示方法更加灵活和可解释，在使用相似模板时在多个任务中表现出更好的性能。

Oct, 2022

通过引入一种新颖的指令提炼方法，将开源的 Large Language Models（LLMs）的成对排序能力提炼为更简单、更高效的逐点排序，以提高 LLMs 的排序性能和效率。

Nov, 2023