Mar, 2024

S^2IP-LLM: 基于语义空间的 Prompt 学习与 LLM 方法的时间序列预测

PDF
TL;DR利用预训练的大型语言模型（LLM）的语义空间，通过学习从共同空间获得的提示信息，在时间序列嵌入空间中执行时间序列预测，展示了优于现有基准的预测性能，并验证了受语义空间提供的提示学习的必要性。
pre-trained large language modelssemantic spacetime series forecastingprompt learningsemantic anchors
发现论文，激发创造
  • Time-LLM：大型语言模型的时间序列预测

    利用大型语言模型进行时间序列预测的重新编程框架，通过在输入时间序列中加入文本原型，将两种模态对齐，进而获得强大的时间序列学习器 Time-LLM，该学习器在少样本和零样本学习场景中表现出优越性能并超越了专业的预测模型。

    Oct, 2023

  • 基于 LLM 的语义提示进化：SPELL

    通过使用大型语言模型，本研究提出了一种基于黑盒演化算法的语义提示进化方法，能够迅速改进文本提示的性能。

    Oct, 2023

  • 通过跨模态知识蒸馏来驯服预训练 LLMs 进行广义时间序列预测

    利用大型语言模型和时间序列对齐框架，进行多元时间序列预测，同时充分发挥语言模型的潜力，建立了长期和短期预测的新的最先进方法。

    Mar, 2024

  • 提示求解之前的线索引导：指导 LLMs 有效利用编码知识

    通过引入 Hint-before-Solving Prompting (HSP) 方法，将高质量提示应用于大型语言模型的解题过程，有效地提高了推理任务的准确性，并建立了 HSPMATH 数据集，提高了解题准确性。

    Feb, 2024

  • LLMs 的时间序列预测：理解和增强模型能力

    大型语言模型在时间序列预测方面具有明显的优势和限制，尤其在具备明确模式和趋势的数据上，LLMs 表现出色，但在缺乏周期性的数据集上面临挑战。研究发现，引入外部知识和采用自然语言改写有利于提升 LLMs 在时间序列预测中的预测性能。

    Feb, 2024

  • 监督式提示训练

    通过使用监督性提示训练（Supervisory Prompt Training）方法，我们提出了一种新颖的方法，可以自动地生成高效的提示，从而提高大型语言模型（LLMs）的性能和减少幻觉，为传统的模型微调提供了一种高效且可扩展的替代方案。

    Mar, 2024

  • 大型语言模型用于时间序列的研究概述

    该综述论文详细探讨了利用大型语言模型进行时间序列分析的各种方法，包括直接提示、时间序列量化、对齐技术、利用视觉作为桥梁机制以及与其他工具的结合，同时提供了现有的多模态时间序列和文本数据集的综合概述，并分析了该新兴领域的挑战和未来机会。

    Feb, 2024

  • LLMLingua：压缩大型语言模型推理加速的提示

    LLMLingua 是一种粗粒度到细粒度的提示压缩方法，利用预算控制器、基于令牌级的迭代压缩算法和基于指令调整的语言模型分布对齐方法，实现高压缩率下语义完整性的维持，有效加速模型推理并降低成本。在多个不同场景的数据集上的实验和分析表明，该方法在性能上达到了最先进的水平，并且能够在保证性能损失很小的情况下进行高达 20 倍的压缩。

    Oct, 2023

  • 稳健语言模型的提示扰动一致性学习

    大型语言模型对于自然语言处理任务表现出色，但在序列标注任务（如意图分类和槽位填充）中的表现明显落后于判别模型。本文通过 fine-tuning 大型语言模型并使用一种有效的减小性能下降的方法，Prompt Perturbation Consistency Learning（PPCL），成功地提高了序列标注任务的性能，并且使用更少的数据样本击败了数据增强方法。

    Feb, 2024

  • 利用大规模语言模型增强时间序列分析：综述

    对利用大型语言模型（LLMs）进行时间序列分析的现有方法进行了系统概述，总结了基于 LLM 的时间序列分析的一般流程，并探讨了未来的研究机会。

    Feb, 2024