通过使用预先在自然语言或图像数据上进行训练的 Transformer 模型，并通过最小修改进行微调，我们在时序预测任务上评估了 Frozen Pretrained Transformer (FPT) 的效果，并发现其性能在跨模态时序预测任务中可以与同模态微调相媲美甚至处于最前沿状态。

Feb, 2023

该研究提出了一种利用经过微调的大型语言模型（LLMs）来最小化负荷数据要求的新方法，并通过在电力系统负荷配置文件中恢复丢失数据来进行验证。通过实证评估，我们展示了经过微调的模型在准确恢复丢失数据方面的有效性，实现了与 BERT-PIN 等专门设计的模型相当的性能。重要发现包括提示工程的重要性和合理利用微调样本，在从普通用户案例向特定目标用户传递知识方面展示了少样本学习的效率。此外，所提出的方法与从头训练模型相比，具有显著的成本效益和时间效率，在数据有限和计算资源有限的情况下，是一种实际可行的解决方案。该研究对于其他电力系统负荷配置文件分析任务具有重要的应用潜力，推动了在电力系统分析中使用 LLMs 的发展，为提高电力分配系统的韧性和效率提供了有希望的启示。

Jun, 2024

本研究提出了一个建筑物之间的迁移学习框架，以应对建筑物限制性和稀缺数据的深度学习预测问题，并将其应用于基于 Transformer 模型的精确负荷预测。结果表明，相比传统深度学习方法，所提出的方法提高了 56.8% 的精度，且准确率优于其他深度学习模型。

Jan, 2023

本文探讨了在数据点少于 1,000 的低资源环境下利用基于预训练 Transformer 的语言模型的微调方法，通过利用基于池的主动学习加速训练同时保持标记新数据的成本不变。实验结果表明，通过最大化从未标记数据池中查询的模型的近似知识收益，可提高模型性能。最后，我们演示并分析了语言模型冻结层的好处，以减少可训练参数的数量，使其更适用于低资源环境。

Dec, 2020

本文提出了一种理论框架，以解释在零 / 少样本场景下提示学习的功效，我们进一步假设语言差异可以衡量提示的质量，并且通过基于 perplexity 的注释无关模板选择方法，使我们能够提前预测提示性能。

Sep, 2022

本文旨在解释提高小样本下的预训练语言模型的性能，发现未 fine-tune 的预训练模型表现出强烈的预测偏差，而 fine-tune 可以缓解预测偏差并展现出更好的性能，但研究还在探讨如何平衡预测行为和开发有利于小样本学习的模型评估方法。

Apr, 2022

本研究通过建模探索基于 Transformer 的多语言语言模型在零样本跨语言转移上的性能预测，并将其视为多任务学习问题，从而建立准确的预测模型。我们的方法还同时进行了特征选择，识别出对多个任务的零样本表现具有影响的共同特征。

May, 2022

论文提出了一种简单且有效的迁移学习方法，通过将任务特定的优化函数与辅助的预训练语言模型目标结合，在保留语言模型捕捉的语言规律的同时，能够进行足够的适应目标任务的训练。实验结果表明，该方法在多种具有挑战性的情感和文本分类任务中，超越了现有水平更为复杂的迁移学习方法。

Feb, 2019

LM-BFF 提出了一种改进的面向小型语言模型的少样本 fine-tuning 方法以提升在多种 NLP 任务上的性能。通过与传统的 fine-tuning 方法相比，LM-BFF 组合的技术在低资源环境下具有显著改进，最高可达 30％，平均提高 11％。

Dec, 2020

机器学习领域近年来在建立新模型时降低标注训练数据需求方面取得了显著进展，本文回顾了三种低成本学习技术，包括弱监督、迁移学习和提示工程，特别探讨了零样本大语言模型的提示工程及其应用于社会科学领域的实际任务，结果显示这些技术均表现良好，且大语言模型的提示工程以极低成本达到高准确率，研究成果附带代码存储库便于他人使用和复制，旨在促进这些技术在社会科学领域的进一步应用。

Jan, 2024