利用 LLMs 进行表格数据的异常检测
利用大型语言模型（LLMs）解决数据科学中与表格数据相关的预测任务的研究，通过创建一个包含注解指令的综合数据集来对 LLM 进行大规模训练，研究应用训练好的模型在零样本预测、少样本预测和上下文学习场景中的实际应用，并通过实验证明该方法在表格智能方面相较于现有基准有显著改进。
Mar, 2024
提出了一种新颖的上下文学习框架 FealtLLM，利用大型语言模型作为特征工程师，生成适合表格预测的优化输入数据集，在推断阶段使用生成的特征和简单的下游机器学习模型 (如线性回归) 来推断分类的可能性，从而实现高性能的小样本学习。FeatLLM 框架只使用简单的预测模型和推断时发现的特征，相较于现有的基于大型语言模型的方法，FeatLLM 可以消除每个样本都需要查询大型语言模型的需求和克服提示大小的限制，并且仅需要对大型语言模型的 API 进行访问。在多个来自不同领域的表格数据集上的实验证明，FeatLLM 生成高质量的规则，明显 (平均达到 10%) 优于 TabLLM 和 STUNT 等替代方法。
Apr, 2024
利用大型语言模型对金融数据中的异常检测进行研究，通过测试三个预训练通用句子转换模型和五个优化过的机器学习模型，发现大型语言模型对异常检测是有价值的，特别是在金融账目条目中处理特征稀疏性方面的有效性。
Jun, 2024
通过一系列的实验，我们发现大型语言模型在表格预测任务中往往会继承社会偏见，这从根源上影响了它们的公平性，并且通过标签反转等方法可以显著减少这些偏见。
Oct, 2023
通过系统性文献综述，全面考察了在预测和异常检测中使用大规模语言模型（LLMs）的应用，突出了现有研究的现状、固有挑战和未来发展方向。LLMs 已经在解析和分析大规模数据集以识别模式、预测未来事件和检测异常行为等各个领域展现了巨大潜力。然而，该综述指出了一些关键挑战，如依赖于大量历史数据集、在不同背景中的泛化问题、模型产生幻觉的现象、模型知识范围的局限性以及需要大量计算资源等，这些挑战阻碍了它们更广泛的应用和有效性。通过详细分析，本综述讨论了克服这些障碍的潜在解决方案和策略，如整合多模态数据，学习方法的进步以及强调模型可解释性和计算效率。此外，该综述还概述了可能影响 LLMs 在这些领域中发展的关键趋势，包括朝向实时处理、可持续建模实践的重要性和跨学科合作的价值。最后，该综述强调了 LLMs 对预测和异常检测可能产生的转变性影响，同时强调了持续创新、道德考虑和实际解决方案的需求以实现其全部潜力。
Feb, 2024
通过知识蒸馏，以大型语言模型 (LLM) 为基础训练的教师网络来训练学生网络以检测时间序列异常，利用原型信号和合成异常样本的策略，AnomalyLLM 在 15 个数据集中表现出最先进的性能，在 UCR 数据集中提高了至少 14.5％ 的准确性。
Jan, 2024
本研究通过 sigllm 框架探索了大型语言模型在时间序列异常检测方面的应用，包括时间序列转文本处理模块和基于预测的探测方法，并在 11 个数据集上进行了评估，结果显示预测方法在 F1 分数上明显优于提示方法，但与最先进的深度学习模型相比，大型语言模型的性能仍略逊，差距约为 30%。
May, 2024
利用大型语言模型的知识，提出了一种名为 AnomalyLLM 的方法，通过与动态图配合使用，进行边缘重编程和上下文学习，实现少样本异常检测，并在实验中取得显著的性能提升和对新异常的优越结果。
May, 2024
通过对大型语言模型的研究，揭示了它们在解释和推理表格数据方面的能力，发现表格结构变化对模型性能的影响，提出了表格结构归一化的方法，并且比较了文本推理和符号推理，同时通过多个推理路径的聚合，取得了在 WIKITABLEQUESTIONS 任务上的最新成果。
Dec, 2023
LLMAD 是一种新的时间序列异常检测方法，采用大语言模型（LLMs）提供准确而可解释的结果，通过在上下文中的检测来检索正面和负面的相似时间序列片段，并采用 Anomaly Detection Chain-of-Thought（AnoCoT）方法模仿专家逻辑进行决策过程，为用户决策提供解释。
May, 2024