大型语言模型引导的时间序列异常检测的知识蒸馏

Jan, 2024

大型语言模型引导的时间序列异常检测的知识蒸馏

Large Language Model Guided Knowledge Distillation for Time Series Anomaly Detection

Chen Liu, Shibo He, Qihang Zhou, Shizhong Li, Wenchao Meng

TL;DR通过知识蒸馏，以大型语言模型 (LLM) 为基础训练的教师网络来训练学生网络以检测时间序列异常，利用原型信号和合成异常样本的策略，AnomalyLLM 在 15 个数据集中表现出最先进的性能，在 UCR 数据集中提高了至少 14.5％的准确性。

Abstract

self-supervised methods have gained prominence in time series anomaly detection due to the scarcity of available annotations. Nevertheless, they typically demand extensive training data to acquire a generalizable representation map, which conflicts with scenarios of a few available sam

self-supervised methods time series anomaly detection knowledge distillation large language model anomalyllm

发现论文，激发创造

大型语言模型可以用作时间序列的零样本异常检测器吗？

本研究通过 sigllm 框架探索了大型语言模型在时间序列异常检测方面的应用，包括时间序列转文本处理模块和基于预测的探测方法，并在 11 个数据集上进行了评估，结果显示预测方法在 F1 分数上明显优于提示方法，但与最先进的深度学习模型相比，大型语言模型的性能仍略逊，差距约为 30%。

May, 2024

大型语言模型可提供准确且可解释的时间序列异常检测

LLMAD 是一种新的时间序列异常检测方法，采用大语言模型（LLMs）提供准确而可解释的结果，通过在上下文中的检测来检索正面和负面的相似时间序列片段，并采用 Anomaly Detection Chain-of-Thought（AnoCoT）方法模仿专家逻辑进行决策过程，为用户决策提供解释。

May, 2024

用于预测和异常检测的大型语言模型：系统文献综述

通过系统性文献综述，全面考察了在预测和异常检测中使用大规模语言模型（LLMs）的应用，突出了现有研究的现状、固有挑战和未来发展方向。LLMs 已经在解析和分析大规模数据集以识别模式、预测未来事件和检测异常行为等各个领域展现了巨大潜力。然而，该综述指出了一些关键挑战，如依赖于大量历史数据集、在不同背景中的泛化问题、模型产生幻觉的现象、模型知识范围的局限性以及需要大量计算资源等，这些挑战阻碍了它们更广泛的应用和有效性。通过详细分析，本综述讨论了克服这些障碍的潜在解决方案和策略，如整合多模态数据，学习方法的进步以及强调模型可解释性和计算效率。此外，该综述还概述了可能影响 LLMs 在这些领域中发展的关键趋势，包括朝向实时处理、可持续建模实践的重要性和跨学科合作的价值。最后，该综述强调了 LLMs 对预测和异常检测可能产生的转变性影响，同时强调了持续创新、道德考虑和实际解决方案的需求以实现其全部潜力。

Feb, 2024

利用 LLMs 进行表格数据的异常检测

利用大型语言模型（LLMs）来检测表格异常，并展示了预训练的 LLMs 在零样本批量级异常检测方面的效果，同时提出了一种简单但有效的数据生成过程和端到端微调策略来对齐 LLMs 检测真实异常的潜力。

Jun, 2024

通过跨模态知识蒸馏来驯服预训练 LLMs 进行广义时间序列预测

利用大型语言模型和时间序列对齐框架，进行多元时间序列预测，同时充分发挥语言模型的潜力，建立了长期和短期预测的新的最先进方法。

Mar, 2024

LLM 教育中的知识蒸馏

本研究提出了一种方法，将大型语言模型（LLMs）的知识提炼为一个更小、更高效且准确的神经网络，以实现在资源受限设备上部署这些模型的挑战。我们的方法包括使用 LLM 的预测概率训练较小的学生模型，作为教师模型，通过专门设计的损失函数来学习 LLM 的输出概率，确保学生模型能够准确模仿教师模型的性能。通过对包括 6,684 个学生撰写的科学问题回答及其他数据集的测试，我们将性能与原始神经网络（NN）模型进行了比较，结果显示对于 7T 数据集，NN 模型和提炼的学生模型的准确率与教师模型相当；然而，其他数据集显示 NN 模型的准确率显著较低（平均 28%），然而我们的提炼模型仍然能够比 NN 模型获得更高 12% 的准确率。此外，学生模型的参数大小为 0.1M 至 0.02M，相较于原始输出模型大小减小了 100 倍和 10 倍。该研究的重要性在于其为自动评分在典型教育环境中的运用提供了潜力。

Dec, 2023

AnomalyLLM: 动态图中使用大型语言模型进行少样本异常边缘检测

利用大型语言模型的知识，提出了一种名为 AnomalyLLM 的方法，通过与动态图配合使用，进行边缘重编程和上下文学习，实现少样本异常检测，并在实验中取得显著的性能提升和对新异常的优越结果。

May, 2024

通过知识检测自我训练大型语言模型

该论文研究自训练范式，其中大型语言模型 (Large language models, LLMs) 通过自主策划标签并选择性地在未知数据样本上训练，以显著改善多个主题中生成中的虚构问题。此外，选择性训练框架在处理超出分布基准的灾难性遗忘时具有重要意义，解决了训练 LLMs 过程中的关键限制。我们的研究结果表明，这种方法可以大幅减少对大规模标记数据的依赖，为更可伸缩和经济有效的语言模型训练铺平了道路。

Jun, 2024

利用大规模语言模型增强时间序列分析：综述

对利用大型语言模型（LLMs）进行时间序列分析的现有方法进行了系统概述，总结了基于 LLM 的时间序列分析的一般流程，并探讨了未来的研究机会。

Feb, 2024

大型语言模型用于时间序列的研究概述

该综述论文详细探讨了利用大型语言模型进行时间序列分析的各种方法，包括直接提示、时间序列量化、对齐技术、利用视觉作为桥梁机制以及与其他工具的结合，同时提供了现有的多模态时间序列和文本数据集的综合概述，并分析了该新兴领域的挑战和未来机会。

Feb, 2024