Aug, 2023

测试：文本原型对齐嵌入以激活 LLM 对时间序列的能力

PDF
TL;DR本文总结了使用当今的语言模型（LLM）完成时间序列（TS）任务的两种策略：LLM-for-TS，设计和训练适用于 TS 数据的基础大模型；TS-for-LLM，使预训练的 LLM 能够处理 TS 数据。本文关注 TS-for-LLM 方法，旨在通过设计一种适用于 LLM 的 TS 嵌入方法来激活 LLM 对 TS 数据的处理能力。作者提出了一种名为 TEST 的方法，首先对 TS 进行分词，通过实例、特征和文本原型对齐等方式建立编码器进行嵌入，然后创建提示信息使 LLM 更加开放对嵌入的应用，并最终实现 TS 任务。实验证明，应用于 8 个具有不同结构和大小的 LLM 进行 TS 分类和预测任务，尽管结果无法显著超过针对 TS 任务定制的最先进模型，但将 LLM 视为模式机器能够赋予 LLM 处理 TS 数据的能力，而不损害其语言能力。本文旨在成为鼓励进一步研究的基础性工作。
发现论文，激发创造
  • 大型时间序列模型训练中不同设计选择的理解

    基于大型语言模型（LLMs）的启发，时间序列预测（TSF）正在向基于 Universal-Transformer 的大型时间序列模型（LTSMs）过渡，旨在为 TSF 训练通用模型。然而，在异构时间序列数据上训练 LTSMs 面临着多样的挑战，包括数据集之间不同的频率，维度和模式。我们通过综合分析设计选择，并旨在确定训练 LTSM 的最佳实践。此外，我们提出了一种针对时间序列数据的新型统计提示策略称为 “时间序列提示”。基于我们分析中的观察结果，我们引入了 “LTSM-bundle”，该捆绑包绑定了我们确定的最佳设计选择。实证结果表明，“LTSM-bundle” 在基准数据集上相比于最先进的 LSTMs 和传统的 TSF 方法具有卓越的零射击和少射击性能。

    Jun, 2024

  • 利用大规模语言模型增强时间序列分析：综述

    对利用大型语言模型（LLMs）进行时间序列分析的现有方法进行了系统概述，总结了基于 LLM 的时间序列分析的一般流程，并探讨了未来的研究机会。

    Feb, 2024

  • LLM4TS：基于预训练 LLM 的两阶段微调用于时间序列预测

    我们利用预训练的大型语言模型 (LLMs) 提升时间序列预测的能力，通过结合时间序列拼接和时间编码，增强了 LLMs 处理时间序列数据的能力，采用两阶段的精调过程，并采用多种参数高效精调技术 (PEFT)，LLM4TS 在长期预测方面取得了最先进的结果。

    Aug, 2023

  • TimeCMA: 基于 LLM 的时间序列预测协同模态对齐

    基于大规模语言模型和交叉模态对齐，提出了 TimeCMA 框架，用于多变量时间序列预测，实验证明其准确性和高效性。

    Jun, 2024

  • 一段文字胜过数个令牌：LLM 的文字嵌入与关键令牌密切对齐

    通过分析长序列模型的嵌入数据，我们发现其文本嵌入与关键标记是可以对齐的，并进一步通过调整首个主要成分，实现文本嵌入与关键标记的对齐。这一发现拥有广泛应用潜力，可用于稀疏检索方法的改进和模糊概念的理解。

    Jun, 2024

  • 通过基于大型语言模型的文本补充和重写增强嵌入性能

    利用大型语言模型丰富和重写输入文本，改善嵌入模型的性能，并在特定领域取得显著改进。

    Apr, 2024

  • 大型语言模型用于时间序列的研究概述

    该综述论文详细探讨了利用大型语言模型进行时间序列分析的各种方法，包括直接提示、时间序列量化、对齐技术、利用视觉作为桥梁机制以及与其他工具的结合，同时提供了现有的多模态时间序列和文本数据集的综合概述，并分析了该新兴领域的挑战和未来机会。

    Feb, 2024

  • 利用大型语言模型改进文本嵌入

    通过使用合成数据和少于 1k 个训练步骤，我们引入了一种获取高质量文本嵌入的新颖简单方法。与现有方法不同，我们的方法不需要构建复杂的训练流程或依赖于常常受到任务多样性和语言覆盖性限制的人工收集的数据集。通过利用专有 LLMs 在近 100 种语言中生成大量多样化的合成数据，我们使用标准对比损失在合成数据上微调开源的只解码 LLMs。实验证明，我们的方法在高度竞争的文本嵌入基准上具有强大的性能，而不使用任何标记数据。此外，当用合成数据和标记数据的混合进行微调时，我们的模型在 BEIR 和 MTEB 基准上创造了最新的技术成果。

    Dec, 2023

  • LLMs 的时间序列预测：理解和增强模型能力

    大型语言模型在时间序列预测方面具有明显的优势和限制，尤其在具备明确模式和趋势的数据上，LLMs 表现出色，但在缺乏周期性的数据集上面临挑战。研究发现，引入外部知识和采用自然语言改写有利于提升 LLMs 在时间序列预测中的预测性能。

    Feb, 2024

  • 一种基于 LSTM 编码器 - 解码器模型的文本简化实验研究

    本文通过使用 LSTM Encoder-Decoder 模型实现了句子级别的文本简化，该方法与传统的基于词法规则或手动定义规则的方法相比具有更好的效果。该模型可以学习具有一定规律的操作，如反转、排序和替换，因此可以被应用于修改句子结构、替换和删除单词等文本简化中。

    Sep, 2016