推进异常检测:使用 LLMs 进行非语义金融数据编码
利用大型语言模型(LLMs)来检测表格异常,并展示了预训练的 LLMs 在零样本批量级异常检测方面的效果,同时提出了一种简单但有效的数据生成过程和端到端微调策略来对齐 LLMs 检测真实异常的潜力。
Jun, 2024
通过系统性文献综述,全面考察了在预测和异常检测中使用大规模语言模型(LLMs)的应用,突出了现有研究的现状、固有挑战和未来发展方向。LLMs 已经在解析和分析大规模数据集以识别模式、预测未来事件和检测异常行为等各个领域展现了巨大潜力。然而,该综述指出了一些关键挑战,如依赖于大量历史数据集、在不同背景中的泛化问题、模型产生幻觉的现象、模型知识范围的局限性以及需要大量计算资源等,这些挑战阻碍了它们更广泛的应用和有效性。通过详细分析,本综述讨论了克服这些障碍的潜在解决方案和策略,如整合多模态数据,学习方法的进步以及强调模型可解释性和计算效率。此外,该综述还概述了可能影响 LLMs 在这些领域中发展的关键趋势,包括朝向实时处理、可持续建模实践的重要性和跨学科合作的价值。最后,该综述强调了 LLMs 对预测和异常检测可能产生的转变性影响,同时强调了持续创新、道德考虑和实际解决方案的需求以实现其全部潜力。
Feb, 2024
通过数据中心的方法,我们提出了一种能够更好地处理金融任务的金融 LLM(FLLM)模型,通过多任务提示优化来对数据进行预处理和预理解,并通过推断增强推理(AAR)自动生成训练数据,实验结果表明,我们的数据中心 FLLM 模型显著优于基于原始文本的金融 LLMs,在金融分析和解释任务上达到了最新水平,我们还开源了一个新的金融分析和解释基准,这种方法为解锁 LLMs 在复杂现实领域的潜力提供了希望。
Oct, 2023
利用大型语言模型的知识,提出了一种名为 AnomalyLLM 的方法,通过与动态图配合使用,进行边缘重编程和上下文学习,实现少样本异常检测,并在实验中取得显著的性能提升和对新异常的优越结果。
May, 2024
在金融情感分析领域,传统的 NLP 模型受到参数大小和训练数据范围的限制,以及简洁的财经新闻文本缺乏上下文的问题,而无法很好地泛化和提高准确性。为了解决这些挑战,本研究引入了一种基于检索增强的大型语言模型(LLMs)框架,该框架包括一个指导调整的 LLMs 模块和一个从可靠外部来源检索附加上下文的模块。与传统模型和 ChatGPT、LLaMA 等 LLMs 相比,我们的方法在准确性和 F1 得分方面取得了 15%到 48%的性能提升。
Oct, 2023
本文讨论了将异常和偏差检测方法应用于文本语料库,并针对相应挑战提出了采用分布语义的语言模型可在风险识别、预测建模和趋势分析等方面发挥重要作用。
Aug, 2019
使用大型语言模型(LLMs)在金融领域中的机器学习应用的最新进展,探讨了 LLMs 在各种金融任务上的应用,重点在于它们改变传统做法和推动创新的潜力,提供了进展和优势的讨论,包括上下文理解、迁移学习的灵活性和复杂情感检测等高级技术,以及将现有文献分类为主要应用领域,包括语言任务、情感分析、金融时间序列、金融推理、基于代理的建模和其他应用,详细介绍了每个应用领域的具体方法论,如文本分析、基于知识的分析、预测、数据增强、规划、决策支持和模拟。此外,还提供了与主流应用相关的数据集、模型资源和有用代码等资源,作为研究人员和实践者的参考。最后,概述了未来研究中的挑战和机遇,特别强调了该领域的几个独特方面。希望我们的工作能促进 LLMs 在金融领域的采用和进一步发展。
Jun, 2024
LLMAD 是一种新的时间序列异常检测方法,采用大语言模型(LLMs)提供准确而可解释的结果,通过在上下文中的检测来检索正面和负面的相似时间序列片段,并采用 Anomaly Detection Chain-of-Thought(AnoCoT)方法模仿专家逻辑进行决策过程,为用户决策提供解释。
May, 2024
本研究通过 sigllm 框架探索了大型语言模型在时间序列异常检测方面的应用,包括时间序列转文本处理模块和基于预测的探测方法,并在 11 个数据集上进行了评估,结果显示预测方法在 F1 分数上明显优于提示方法,但与最先进的深度学习模型相比,大型语言模型的性能仍略逊,差距约为 30%。
May, 2024
金融情感分析是将金融文本内容分类为情感类别(如积极、消极和中性)。本文聚焦于金融新闻标题的分类,通过利用预训练的大型语言模型以及监督微调技术,实现在少量训练样本情况下显著超越之前最先进的算法。
Jan, 2024