通过引入层次化提示分类法及其规则以及自适应层次化提示框架，研究衡量大型语言模型在解决多样任务中的效果，进而发展一种用于评估数据集复杂性和语言模型能力的通用评价指标。

Jun, 2024

本文研究了不同的训练方法，使用预训练语言模型来进行文本分类。研究发现，在训练大型语言模型时，虽然标准微调和提示可以很好地运作，但是还有更有效的替代方法可以降低计算或数据成本。有趣的是，发现提示结合知识蒸馏可以同时降低计算和数据成本。

Oct, 2022

通过决策树链式连接多个语言模型的调用以解决任务，并且在分类数据集上表现优于竞争方法，与微调相比具有竞争力，同时还可以观察模型的决策过程。

Oct, 2023

本文研究如何使用 Prompt-based Fine-tuning 技术提高语言模型和多模式因果变换器模型的效果，结果表明使用只有 35%-40% 的训练数据集便能取得可比较的效果，从而达到显著的时间和费用节约。

Apr, 2022

开发用于大型语言模型的软提示学习算法，研究词干的形状、使用冻结 / 非冻结语言模型进行文字调优、迁移学习和少样本学习的能力。

Oct, 2023

未来我们将探索 fine-tuning 和 prompt tuning 在处理句子中潜在支持值的任务中的潜力，同时对大型语言模型与强化学习对齐在此任务中的能力进行初步尝试。

Mar, 2024

通过使用基于指令的精调大型语言模型（LLMs），本研究提出了一种无监督方法来自动生成和扩展主题分类法。我们运用主题建模和关键词提取技术创建初始主题分类法，并使用 LLMs 对结果进行后处理以创建层次结构。为了通过新术语扩展现有分类法，我们使用零样本提示来确定在何处添加新节点，这是首次在分类任务中提出此种方法。我们使用生成的分类法为来自零售银行数据集的商户分配标签。为了评估我们的工作，我们请 12 位志愿者回答一个两部分的表格，首先评估创建的分类法质量，然后评估基于该分类法为商户分配的标签。评估结果显示所选分类法的一致性率超过 90％，而商户分配的平均一致性超过 80％。

Jan, 2024

Prompt Tuning 对我们通常用 Pretrained Language Models 进行的多标签文本分类任务有着更好的性能和计算效率。

Sep, 2023

在这篇论文中，我们对高效提示的各种方法进行了全面的概述，包括使用高效计算和高效设计进行提示的方法，重点关注未来的研究方向。

Apr, 2024

本研究提出一种无监督的精调框架，用于快速和直接地向未标记的目标数据进行深度学习模型的预训练，并在图像分类、情感分析和自然语言推理任务中实现了持续的改进。

Apr, 2023