ICLRMar, 2024

LAMPER: 无监督时间序列分类的语言模型和提示引擎设计

PDF
TL;DR该研究通过 LanguAge Model with Prompt EngineeRing (LAMPER) 框架，系统评估预训练语言模型 (PLMs) 在适应多样化提示及其在零样本时间序列 (TS) 分类中的整合能力。我们使用 UCR 存档中的 128 个单变量 TS 数据集对 LAMPER 进行实验评估。结果表明，LAMPER 的特征表征能力受到 PLMs 的最大输入标记阈值的影响。
language model with prompt engineeringpre-trained language modelszero-shot time series classificationfeature representation capacitymaximum input token threshold
发现论文，激发创造
  • 预训练语言模型可完全零样本学习

    本文提出了一种基于预训练语言模型的无参考学习方法 NPPrompt，能够有效扩展一个预训练模型到多个语言理解任务，且不需要标注数据或附加未标注语料库进行微调。实验结果表明，NPPrompt 在文本分类和 GLUE 基准测试等任务中具有比以前最好的全零样本方法更高的绝对增益。

    Dec, 2022

  • LSTPrompt: 大型语言模型作为零样本时间序列预测器之 短时 - 长时提示

    Time-series forecasting (TSF) finds broad applications in real-world scenarios, and this paper proposes LSTPrompt, a novel approach for prompting Large Language Models (LLMs) in zero-shot TSF tasks, which consistently outperforms existing prompting methods and achieves competitive results compared to foundation TSF models.

    Feb, 2024

  • 低资源语言中大型语言模型的少样本跨语言迁移

    将 LLaMa 适应于 Kinyarwanda、Hausa 和 Luganda 等低资源语言的提示设置是一种计算高效且成本效益的方法，优于翻译和 LAFT，并在所有任务和语言上表现最佳。

    Mar, 2024

  • 探索基于提示学习范式的小型语言模型用于高效的领域特定文本分类

    在本研究中，我们调查了小语言模型（具有不到 10 亿参数）与 prompt-learning 范例相结合，在零样本和少样本场景下针对零售业中客户 - 代理商互动的领域特定文本分类的潜力。我们的评估结果显示，在少样本设置下进行基于提示的模型微调时，220M 参数的典型小语言模型 T5-base 可以在有限的标记数据（高达全数据的 15%）上实现约 75% 的准确性，显示了小语言模型与 prompt-learning 的巨大潜力。基于此，我们进一步验证了主动少样本抽样和 prompt-learning 流程中的集成策略对显著性能提升的有效性。此外，在固定模型的零样本设置中，我们强调了一个关键的观察结果，即尽管具有约 1540B 参数的 GPT-3.5-turbo 可以达到 55.16% 的准确性，但当仅有 0.5% 参数的 FLAN-T5-large 使用经过优化的提示时，其准确性超过 31%，相比使用未经优化提示的准确性提升了近 13%。我们的发现强调了使用小语言模型进行 prompt-learning 的分类任务中的潜力，强调了主动少样本抽样和集成策略在少样本设置中的好处，并强调了零样本设置中提示工程的重要性。

    Sep, 2023

  • AdaPrompt：基于提示的自然语言处理自适应模型训练

    通过利用任务和提示的特征，AdaPrompt 使预训练语言模型不断预训练，提高了 NLP 方面几个基准测试中的表现，在零样本情况下相对误差降低了高达 26.35％。

    Feb, 2022

  • 大语言模型的机器翻译：波斯语，英语和俄语方向的提示工程

    通过研究生成式大型语言模型在机器翻译中的性能，我们发现多语言模型（如 PaLM）在人工翻译输出方面表现出类似人类的水平，能够根据样式指南和语言要求优化所需的翻译细微差别，并在处理和应用提示上表现出色。我们还针对流行的语言模型作为机器翻译工具的错误和限制进行了分类和提出了设计提示进行上下文学习的方法。通过改进评估指标的准确性和可靠性，我们的研究旨在促进生成式大型语言模型在机器翻译中的进步。

    Jan, 2024

  • LaMP: 大型语言模型与个性化的相遇

    本文介绍了个性化对于自然语言理解和生成的重要性，并引入了 LaMP 基准测试 - 一种用于训练和评估用于生成个性化输出的语言模型的新基准测试。LaMP 提供了一个包含多样化语言任务和每个用户配置文件的多个条目的全面评估框架。它由七个个性化任务组成，横跨三个分类任务和四个文本生成任务。我们还提出了一种检索增强方法，该方法从用户配置文件中检索个性化项，以构造大型语言模型的个性化提示。我们的基线零 - shot 和微调模型结果表明，利用配置文件增强的 LM 优于不考虑配置文件信息的其同类。

    Apr, 2023

  • 语音识别中零 - shot 领域调适的大型语言模型启发

    本文介绍了两种使用 LLaMA 的零样本 ASR 领域适应方法，这两种方法可以通过一个领域特定的文本提示有效地减少跨领域 TedLium-2 和 SPGISpeech 数据集上的词错误率（WER），特别是，深度 LLM-fusion 具有更好的实体召回和词汇外单词的召回优势。

    Jun, 2023

  • 职场中的大型语言模型：基于提示工程的工作类型分类案例研究

    本篇文章研究了在真实情境中使用不同方法进行工作分类任务，其中使用了包括传统模型（如支持向量机）和最先进的深度学习方法（如 DeBERTa）在内的多个文本分类方法。研究表明，使用良好设计的提示，零 - shot GPT-3.5-turbo 分类器的性能优于所有其他模型，并且提示的措辞是激发模型适当 “推理” 的关键因素。

    Mar, 2023

  • 零样本分类中的提示复杂度导航：计算社会科学中大型语言模型的研究

    在计算社会科学分类任务中，评估了 ChatGPT 和 OpenAssistant 两种公共可访问的 LLM 的零次效果，并研究了各种提示策略的影响。发现在零次设置下，当前 LLMs 无法与较小的经过微调的基线变压器模型（如 BERT）的性能匹配。此外，发现不同的提示策略可以显着影响分类准确性，准确性和 F1 分数的差异超过 10％。

    May, 2023