优化预训练语言模型加速专题投资
CP-Tuning 是第一个无需手动工程任务特定提示和说明符进行微调的端到端对比提示调整框架，它与任务不变的连续提示编码技术和完全可训练的提示参数相集成。
Apr, 2022
本文提出了一种名为 PPT 的框架，通过在预训练阶段添加软提示来获得更好的初始化，将预训练提示调整用于下游任务可达到或甚至优于整体微调的效果，这对于实际使用大规模预训练语言模型是一种有效和高效的方法。
Sep, 2021
本文提出了基于规则的提示调整 (PTR) 方法，将逻辑规则应用于构建提示，以便在许多类别的文本分类任务中编码先前知识，并通过对关系分类进行实验，证明 PTR 能显著且一致地优于现有的最先进基线。
May, 2021
利用个性化中间学习提取作家文本的任务无关特征，通过使用作家特定提示来个性化统一的预训练语言模型，提高文本理解任务的准确性。
Sep, 2023
该论文提出了 DPT 作为针对区分性 PLMs 的 prompt tuning 框架，并将自然语言处理任务转换为区分性语言建模问题。通过全面的文本分类和问答实验表明，与 vanilla fine-tuning 相比，DPT 在全集和低资源环境下都能显著提高性能，并解决了调整大型 PLMs 中的不稳定问题。
May, 2022
该论文提出了一种统一的 Prompt Tuning (UPT) 框架，通过从非目标自然语言处理数据集中明确捕获提示语义，使 BERT 风格模型在少样本文本分类方面取得更好的性能，该框架引入了一种新的编程范例 Prompt-Options-Verbalizer，强制 PLMs 捕获任务不变提示知识，经过多任务学习后，该模型可以更好地针对任何不同的低资源任务进行提示调整。
May, 2022
传统方法在对大型语言模型（LLMs）进行任务微调时面临着挑战。这篇论文介绍了一种名为 L-Tuning 的有效微调方法，专为自然语言推理（NLI）框架中的分类任务而设计，通过对预训练 LLM 进行标签令牌的微调，从而改善模型的训练效果和分类准确度，并提高训练效率。
Dec, 2023
本文研究了不同的训练方法，使用预训练语言模型来进行文本分类。研究发现，在训练大型语言模型时，虽然标准微调和提示可以很好地运作，但是还有更有效的替代方法可以降低计算或数据成本。有趣的是，发现提示结合知识蒸馏可以同时降低计算和数据成本。
Oct, 2022
使用基于提示的预训练语言模型调整的方法，可以在劳动力市场特定应用中显著提高性能，而无需引入额外模型层、手动注释和数据增强。
Aug, 2023