大规模语言模型波动性基准测试
该研究介绍了一种简单而有效的指令调整方法,通过将一小部分有监督的金融情感分析数据转化为指令数据并使用这种方法微调通用型的大型语言模型,从而在金融情感分析中取得了显著的进展,特别是在关键情境下,如对数字理解和语境理解等方面。
Jun, 2023
该研究提供了一个严谨和全面的基准以及一个标准化的回测框架,以客观评估各种类型的LLM在从中国新闻文本数据中提取情感因子方面的有效性, 从而支持大规模语言模型在量化交易策略中的应用。
Jun, 2023
在金融情感分析领域,传统的NLP模型受到参数大小和训练数据范围的限制,以及简洁的财经新闻文本缺乏上下文的问题,而无法很好地泛化和提高准确性。为了解决这些挑战,本研究引入了一种基于检索增强的大型语言模型(LLMs)框架,该框架包括一个指导调整的LLMs模块和一个从可靠外部来源检索附加上下文的模块。与传统模型和ChatGPT、LLaMA等LLMs相比,我们的方法在准确性和F1得分方面取得了15%到48%的性能提升。
Oct, 2023
近期大规模语言模型(LLM)的发展在金融领域开创了人工智能应用的新可能性。本文提供了一份实用的调查报告,关注LLM在金融任务中的两个关键方面:现有解决方案和采用指南。首先,我们回顾了目前在金融领域中采用LLM的方法,包括通过零样本或少样本学习利用预训练模型,对领域特定数据进行微调,以及从头开始训练自定义LLM。我们总结了关键模型并评估了它们在金融自然语言处理任务上的性能改进。其次,我们提出了一个决策框架,以帮助金融业专业人员根据数据、计算和性能需求选择合适的LLM解决方案。该框架提供了从轻量级实验到大规模投资自定义LLM的路径。最后,我们讨论了在金融应用中利用LLM所面临的限制和挑战。总的来说,该调查旨在综述最新技术并为负责任地应用LLM推动金融人工智能提供路线图。
Sep, 2023
金融情绪分析在揭示潜在模式和检测新兴趋势方面发挥着重要作用,最近,大型语言模型在不同领域展示了显著的能力,对于各种自然语言处理任务,甚至在零样本和少样本的情境学习中都表现出卓越的能力。然而,在金融情绪分析的背景下,它们的潜力和适用性尚未得到全面探索。为了弥补这一空白,我们采用了两种方法:上下文学习(重点关注gpt-3.5-turbo模型)和对金融领域数据集进行微调的LLM。我们的结果表明,经过微调的较小LLM即便参数较少、训练数据集较小,也能够实现与最先进经过微调的LLM可比较的性能。此外,LLM的零样本和一样本性能与经过微调的较小LLM和最先进的结果相当。此外,我们的分析表明,增加上下文学习的样本数量,并没有提高金融领域情绪分析的性能。
Dec, 2023
金融情感分析是将金融文本内容分类为情感类别(如积极、消极和中性)。本文聚焦于金融新闻标题的分类,通过利用预训练的大型语言模型以及监督微调技术,实现在少量训练样本情况下显著超越之前最先进的算法。
Jan, 2024
该研究针对金融领域进行了大规模语言模型(LLM)的适应性研究,并着重研究了金融情感分析,发现通过精细调整基础模型并结合金融文档和指令数据集,小型LLM在性能上与大型模型可媲美,而且在参数和数据方面更高效。此外,研究还展示了如何通过LLM生成人工指令以增加指令数据集的样本数量。
Jan, 2024
使用大型语言模型(LLMs)在金融领域中的机器学习应用的最新进展,探讨了LLMs在各种金融任务上的应用,重点在于它们改变传统做法和推动创新的潜力,提供了进展和优势的讨论,包括上下文理解、迁移学习的灵活性和复杂情感检测等高级技术,以及将现有文献分类为主要应用领域,包括语言任务、情感分析、金融时间序列、金融推理、基于代理的建模和其他应用,详细介绍了每个应用领域的具体方法论,如文本分析、基于知识的分析、预测、数据增强、规划、决策支持和模拟。此外,还提供了与主流应用相关的数据集、模型资源和有用代码等资源,作为研究人员和实践者的参考。最后,概述了未来研究中的挑战和机遇,特别强调了该领域的几个独特方面。希望我们的工作能促进LLMs在金融领域的采用和进一步发展。
Jun, 2024