使用大型语言模型进行基于语言的移动性预测已成为一种创新的方法。本文提出了一种基于信息熵的提示生成和链式思维等机制的提示细化的框架，旨在探索多样的提示设计策略，实验结果表明了我们提出的提示挖掘管道的优越性，为进一步推进基于语言的移动性预测提供了有希望的方向。

Mar, 2024

该研究论文调查和组织了一种新兴的自然语言处理范式，这种范式被称为 “基于提示的学习”，并在其中介绍了其基础知识和数学符号，以及其在预训练模型、提示和调整策略等方面的相关研究成果，该框架通过使用模板将输入 x 修改为具有一些未填充信息的文本字符串提示 x'，并将语言模型用于填充未填充信息以获得最终字符串 x，从而实现零样本学习和少样本学习。

Jul, 2021

Time-series forecasting (TSF) finds broad applications in real-world scenarios, and this paper proposes LSTPrompt, a novel approach for prompting Large Language Models (LLMs) in zero-shot TSF tasks, which consistently outperforms existing prompting methods and achieves competitive results compared to foundation TSF models.

Feb, 2024

TEMPO 是一个基于时间序列的新框架，通过利用时序任务的两个基本归纳偏好来有效学习时间序列表示，展现出超过 20% 至 60% 的改善性能，并在标准监督学习和之前未见数据集的情景中观察到。

Oct, 2023

研究了 prompt learning 对临床应用决策任务的可行性，并与传统的微调方法进行了直接比较。结果部分符合 prompt learning 文献，提示学习能够在可训练参数更少和需要更少的训练数据的情况下与传统微调相匹配或改进，可以作为一种可替代越来越大的预训练语言模型微调的较低计算资源成本，适用于临床环境。

May, 2022

本研究提出了一种名为 SAP 的技术，旨在使双向语言模型具有提示功能。利用机器翻译任务作为案例研究，我们使用 SAP 提示双向 mT5 模型，并证明其少量示例和零量示例的翻译性能优于 unidirectional 模型，同时展示了 SAP 在问答和摘要生成中的有效性，证明提示学习是更广泛的语言模型类别的新兴属性而不仅仅是单向模型的特征。

Sep, 2022

本文提出了一种新的基于语言基础模型的时间序列模式挖掘流程，以用于人类移动预测任务，该模型通过引入特定提示将数值时间序列转换为句子，以便直接应用于现有语言模型，设计了一个 AuxMobLCast 流程用于预测每个 POI 的访客数量，结合了辅助 POI 分类和编码器 - 解码器架构，实证证明了该流程在移动性预测任务中发现序列模式的有效性，并在三个真实数据集上进行了评估，表现良好。

Sep, 2022

本文介绍了一种使用少量参数进行预训练语言模型在下游任务中的应用实现，该方法名为 SPoT：Soft Prompt Transfer，通过学习源任务的 prompt 来初始化目标任务的 prompt，从而提升了 Prompt Tuning 的性能，并在语言模型大小上向 SuperGLUE 基准匹配或胜过标准模型调整，同时减少了多达 27,000 倍的任务特定参数，可以通过大规模的实验证明 prompt 的任务可传递性，最后还提出了一种高效的检索方法来识别相似的任务和预测最适合新目标任务的来源任务。

Oct, 2021

提出了 ConvPrompt，一种新颖的卷积提示创建机制，通过维护逐层共享的嵌入，实现了层特定学习和更好的概念传递，从而克服了 Catastrophic Forgetting 在 Continual Learning 中的问题。通过使用卷积的智能化利用，可以保持较低的参数开销而不影响性能，并通过大型语言模型生成每个类别的细粒度文本描述，用于获取任务相似性并动态决定要学习的提示数量。在广泛的实验证明了 ConvPrompt 的优越性，并显著提高了 SOTA 约 3%，参数开销更少。同时进行了强有力的模块剥离以剖析不同组成部分的重要性。

Mar, 2024

在本研究中，我们调查了小语言模型（具有不到 10 亿参数）与 prompt-learning 范例相结合，在零样本和少样本场景下针对零售业中客户 - 代理商互动的领域特定文本分类的潜力。我们的评估结果显示，在少样本设置下进行基于提示的模型微调时，220M 参数的典型小语言模型 T5-base 可以在有限的标记数据（高达全数据的 15%）上实现约 75% 的准确性，显示了小语言模型与 prompt-learning 的巨大潜力。基于此，我们进一步验证了主动少样本抽样和 prompt-learning 流程中的集成策略对显著性能提升的有效性。此外，在固定模型的零样本设置中，我们强调了一个关键的观察结果，即尽管具有约 1540B 参数的 GPT-3.5-turbo 可以达到 55.16% 的准确性，但当仅有 0.5% 参数的 FLAN-T5-large 使用经过优化的提示时，其准确性超过 31%，相比使用未经优化提示的准确性提升了近 13%。我们的发现强调了使用小语言模型进行 prompt-learning 的分类任务中的潜力，强调了主动少样本抽样和集成策略在少样本设置中的好处，并强调了零样本设置中提示工程的重要性。

Sep, 2023